U schyłku XIV wieku, w miejscu ziemno-drewnianego grodu powstał zamek zbudowany z wypalonych cegieł oraz częściowo z kamieni-okrąglaków. Na początku wieże zamkowe zrównane były wysokością z murami zamkowymi, dopiero później podniesiono je w górę i nakryto dachami (których dzisiaj już nie ma). Od strony wschodniej wybudowano fosę, nad którą w średniowieczu przerzucano drewniane mosty zwodzone – osobne dla pieszych i dla rycerzy konnych. Z drugiej strony dostępu do zamku broniła rzeczka uchodząca do Wisły. Ceglany most, który dzisiaj prowadzi do zamku, pochodzi z XVIII wieku.
Niestety wraz z nadejściem powodzi stulecia, Wisła odsunęła się od zamku o kilka kilometrów, przez co ten stracił na znaczeniu – nie mógł bronić przeprawy, a i sam bez fosy stał się łatwym łupem. Wraz z początkiem XV wieku książęta mazowieccy przenieśli się do Warszawy.
Po śmierci Zygmunta Starego zamek przejęła królowa Bona, która zakochała się w nim bez pamięci. Jej rządy sprawiły, że okolica zyskała na znaczeniu – drogie suknie tkane w Czersku były sprzedawane w Europie Zachodniej, rozwinęło się browarnictwo oraz ruszyła produkcja uszczelniających okręty smarowideł. Niestety nienawidzący królowej sejm postanowił odebrać jej zamek, a schorowana królowa w pośpiechu opuszczała zamek. Miejscowa legenda głosi, że przebierając się w strój podróżny Bona zerwała sznur pereł, których szuka nocami w zamkowych murach.
Od tego momentu zaczął się upadek zamku. W kwietniu 1656 roku resztki szwedzkiej armii schroniły się warowni, nie chcąc by zapas prochów czerskiej twierdzy wpadł w ręce wroga, wysadziły mury w powietrze. Próbę ratowania zamku w latach 1762-1766 podjął marszałek Franciszek Bieleński, jednak po kilku nawałnicach i osunięciach murów poddał się. Od tego momentu zamek stał się składowiskiem cegieł, z którego korzystali pobliscy mieszkańcy, powstał z nich nawet pobliski kościół Przemienienia Pańskiego.
Dziś ruiny zamku są udostępnione do zwiedzania, a grupy zorganizowane mają możliwość zarezerwowania noclegu na baszcie.