В 1277-1280 годах на месте старой прусской крепости и первого орденского деревянно-земляного укрепления был построен каменный замок, который с 1330 года стал называться Лабиау. В 1347-м и в 1352-м годах замок выдержал осады литовского войска. К началу 1360-х годов из кирпича и камня было построено четыре укрепления, обнесенных общими стенами и рвом с водой.

В 1454 году замок подвергся штурму отрядов Прусского союза, но защитники Лабиау, возглавляемые Альбрехтом Шпарукелем, отразили все атаки.

В мае 1519 года в крепости Лабиау произошла встреча великого магистра Тевтонского ордена Альбрехта с послами великого князя московского Василия III. В 1525 году, после секуляризации Тевтонского ордена и возникновения Прусского герцогства, замок Лабиау перешел в собственность герцога Альбрехта. В 1526 году герцог Альбрехт подарил замок Лабиау своей невесте, принцессе Доротее Датской. После смерти Доротеи в 1547 году хозяйкой замка стала вторая жена герцога Альбрехта Анна Мария Брауншвейгская. В 1564 году в восточной части южного крыла замка был оформлен рыцарский зал, расписанный на геральдические и генеалогические мотивы придворным художником итальянцем Иоганном Баптиста.

20 ноября 1656 года в замке Лабиау состоялась встреча Великого курфюрста Бранденбургского Фридриха Вильгельма и короля Швеции Карла Густава, результатом которой стало освобождение Пруссии от вассальной зависимости от Польши.

В 1859-1860 годах замок Лабиау был перестроен и с тех пор использовался в качестве тюрьмы. После пожара 1917 года замок был отреставрирован и оштукатурен.

В 1948-1963 годах в замке функционировала уже советская тюрьма, после закрытия которой здание было передано Прибалтийскому судостроительному заводу "Янтарь".

В бытность заводом замок был основательно перестроен: внутренние помещения, лестницы, коридоры. В 1968 году, в результате замены электропроводки, произошел пожар, уничтоживший крышу и часть верхних этажей. В конце 1990-х годов завод был закрыт, после чего помещения замка стали сдаваться в аренду различным организациям.

В 2010 году замок Лабиау передан Русской православной церкви. В настоящее время в помещениях замка работают городской музей и музей кукол.