Первое орденское деревянно-земляное укрепление в устье реки на берегу залива было возведено в 1266 году маркграфом Оттоном III фон Бранденбургом, и его название связано с именем основателя. Первым комтуром замка Бранденбург стал Фридрих фон Хольденштете, который одновременно занимал должность Верховного маршала Тевтонского ордена.

В первые годы существования крепость Бранденбург подвергалась постоянным атакам пруссов, несколько раз разрушалась и восстанавливалась. В период с 1275 по 1290 годы крепость была перестроена в камне, и до 1499 года замок стал центром самого крупного комтурства в Ордене. С 1322 года в замке хранилась реликвия — фрагмент Святого Креста, на котором был распят Иисус Христос.

Во время войны Тевтонского ордена с Прусским союзом в 1454 году замок Бранденбург был серьезно разрушен, но уже в 1456 году восстановлен. В 1520 году, в результате военных действий, замок сгорел, но впоследствии был вновь восстановлен. С 1525 по 1752 годы в замке находилась резиденция амтхауптманна.

В послевоенные годы в замке жили первые советские переселенцы, но после 1945 года здания ни разу не ремонтировались и активно разбирались на кирпич. К началу XXI века замок Бранденбург представлял собой руины стен и остатки форбурга, заросшие кустарником и травой.

В 2017 году начались работы по расчистке территории замка от мусора и восстановлению кладки стен обоих флигелей.