Czersk był w średniowieczu jednym z największych miast Mazowsza. Była to także siedziba kolegiaty. W XIV wieku książę Janusz I Stary podjął się budowy zamku. W 1413 roku zdecydował się jednak przenieść swoją siedzibę, oraz władze kościelne Mazowsza do rozwijającej się Warszawy. Na jego decyzje wpłynęła prawdopodobnie zmiana koryta przez Wisłę. Od tego czasu datuje się powolny upadek świetności miasta.
Zamek został wybudowany na wzgórzu. Miał mieć charakter typowo obronny. Jego mury zostały wzniesione na wysokość ośmiu metrów, a ich grubość sięgnęła dwóch metrów. Legendarny podziemny labirynt nie został do tej pory odnaleziony, choć koło mostu zwodzonego odkryto prowadzące donikąd drzwi.
Zamek w Czersku uległ na przestrzeni wieków zniszczeniu. Zachowały się częściowo mury obronne, trzy baszty ( Brama, Południowa, Zachodnia), ceglany most z XVII wieku, a także fundamenty kościoła zamkowego pod wezwaniem Św. Piotra.
Po przejęciu funkcji Czerska przez Warszawę, ponowny wzrost jego znaczenia obserwuje się w czasach, gdy zarządzała nim królowa Bona w XVI wieku. Pogłębiła ona piwnice, a także przyczyniła się do ożywienia handlu w tej miejscowości. Zapoczątkowała również uprawę winorośli oraz funkcjonowanie browaru ( słynne piwo czerskie).
W 1656 zamek został zdewastowany przez Szwedów. Natomiast rok 1670 przyniósł zarazę morową, którą przeżyło tylko 13 osób. Nie podniosły znaczenia zamku i Czerska działania Franciszka Bielińskiego marszałka wielkiego koronnego. Na początku XVII wieku podjął on działania zmierzchające do wskrzeszenia jego dawnej świetności. Przystosował budowlę do pełnienia funkcji sądu grodzkiego. Jego śmierć to gwóźdź do trumny dla Czerska, który w 1869 stracił prawa miejskie.
Zamek popadł w całkowitą ruinę. Działania podjęte na początku XX wieku, mające na celu uratowanie pozostałości po nim przez Towarzystwo Opieki nad Zabytkami Przeszłości, spowodowały, że w 1932 roku powstał projekt jego rekonstrukcji. Działania te przerwała II wojna światowa.
Obecnie zamek, a właściwie to, co z niego pozostało, dostępny jest zwiedzającym W samym Czersku warta uwagi jest zachowana średniowieczna urbanistyka, z rynkiem na czele. Udając się w te okolice, można złożyć wizytę w pobliskiej Górze Kalwarii i zapoznać się z zabytkowymi kościołami, opactwem pobenedyktyńskim, dawnym kolegium pijarów, Domem Modlitwy i Sądem Pokoju, oraz zabytkowymi cmentarzami.
