В 1336 году, на месте разрушенного в 1256 году прусского городища Унзетрапис, по приказу магистра Тевтонского ордена Дитриха фон Альтенбурга был заложен деревянный замок Инстербург. Около 1380 года замок был перестроен в камне, укрепления состояли из цитадели и форбурга.

Замок дважды был разрушен и сожжён: в 1376 году литовским князем Скиргайлом и в 1457 году во время войны прусских городов.

После 1525 года замок был превращен в резиденцию Главного Управления округа Инстербург. 1 января 1679 года замок был взят шведским войском.

В XVIII-XIX веках в замке Инстербург последовательно располагались придворный суд, склад военного фуража и продовольствия, лазарет на 200 коек, уланские казармы. К середине XIX века от былого замкового комплекса сохранились стены цитадели, постройки в форбурге и одна угловая башня Пайн-турм с часами. На протяжении XIX века форбург неоднократно перестраивался для нужд земельного суда.

После окончания Первой мировой войны в цитадели замка был открыт музей краеведения Инстербургского Общества древностей, а форбург продолжал оставаться в ведении земельного суда.

В январе 1945 года замок Инстербург подвергся штурму и пострадал от пожара. После окончания Великой Отечественной войны в сохранившихся постройках разместилась воинская часть. Около 1949 года цитадель замка была практически полностью уничтожена пожаром, уцелели только внешние стены. С конца 1940-х годов здания форбурга начали разбирать на кирпич, который вывозился в Литву для восстановления объектов народного хозяйства. В начале 1950-х годов территория замка была передана ремонтно-строительному управлению № 1.

До настоящего времени замок Инстербург сохранился в полуразрушенном состоянии, остались южные хозяйственные постройки форбурга вместе с оборонительной стеной. Цитадель ныне представляет собой коробку наружных стен без западного крыла, разобранного в послевоенное время. Тогда же была демонтирована и последняя башня замка - Пайн-турм. Северная и северо-западная части форбурга утрачены, сохранилась часть оборонительной стены, примыкающая к цитадели с восточной стороны.

Замок работает ежедневно, без выходных и праздников. Ежедневные экскурсии (исторический ландшафт, подземелья хохбурга, музейная экспозиция и т.д.) в начале каждого часа с 11.00 до 17.00. Для больших организованных туристических групп необходимо предварительное согласование.