Замок Тильзит был основан в 1289 году ландмейстером Тевтонского ордена Мейнхардом Куэрфуртом на месте разрушенного прусского поселения в устье реки Тильзе, на территории нынешнего Советска. Первоначально он служил важным оборонительным пунктом и стратегической базой для походов в Литву. В 1405–1409 годах по приказу великого магистра Конрада фон Юнгингена замок был перестроен из камня. Его окружали река Мемель и затопленные участки, что усиливало защиту, а с западной стороны располагался форбург с дополнительным рвом.

После секуляризации Тевтонского ордена в 1525 году замок стал резиденцией бургграфа. В последующие годы он неоднократно менял своё назначение: в 1795 году здесь находилась резиденция командира драгунского полка, а с 1820 года — городской суд. В середине XIX века замок использовался как паровая мельница, позже — как машиностроительная и бумажная фабрики. Однако в 1876 году пожар уничтожил большую часть строений, и замок пришёл в запустение.

В XX веке на его месте действовал завод по производству извести «Кайзер», который сохранился после войны. К концу 1980-х годов замок был окончательно заброшен.

В 1995 году участок с руинами замка был продан частному владельцу под снос, и на его месте планировалось строительство гаражей. Однако с 2000 года общественность Советска активно выступает за сохранение оставшихся фрагментов замка: части стены главного флигеля с сохранившимся сводчатым потолком и значительно перестроенной западной пристройки. Руины замка Тильзит признаны объектом культурного наследия и находятся под государственной охраной. Сегодня на территории руин действует частная строительная компания «Новый замок».