W Kwidzynie przez kilka stuleci funkcjonowały dwa zamki: strażnica krzyżacka (dziś już nieistniejąca) oraz siedziba kapituły pomezańskiej.
W latach 1340-1350 ukończono większość prac budowlanych przy zamku. Twierdzę wzniesiono z kamieni i cegieł na planie zbliżonym do kwadratu, z wieżami w narożach, dwukondygnacyjnym krużgankiem na dziedzińcu. Wjazd był od strony północnej, gdzie znajdowało się gospodarcze przedzamcze. Pierwotnie zamek miał stanowić samodzielne założenie, jednak później połączono go z katedrą, a narożną wieżę przekształcono w dzwonnicę.
Na podstawie założeń drugiego pokoju toruńskiego Kwidzyn, wraz z dominium biskupim, został przydzielony Zakonowi Krzyżackiemu. Biskupstwo pomezańskie dożywotnio oddano polskiemu biskupowi chełmińskiemu – Wincentemu Kiełbasie. Po jego śmierci Zakon podjął próbę obsady biskupstwa pomezańskiego, doprowadziło to interwencji wojsk polskich i ostatecznego zdobycia Kwidzynia w 1478 roku. Niestety, w trakcie działań wojennych zamek został poważnie uszkodzony – konieczna była rozbiórka uszkodzonych wież narożnych.
W związku z sekularyzacją Zakonu biskupi pomezańscy przeszli na protestantyzm i w 1526 roku przekazali administrację diecezji urzędnikom księcia Albrechta. Jeden z biskupów – Paweł Speratus otrzymał zezwolenie na wykorzystanie stu tysięcy cegieł ze starego założenia na odbudowę zamku kapitulnego.
Po pierwszym rozbiorze w Polski w zamku mieściła się siedziba sądu oraz więzienie, następnie, w okresie międzywojennym działało tu muzeum, a w latach 1935-1945 funkcjonowała tu szkoła i zakład wychowawczy dla młodych hitlerowców. W 1945 roku zamek przejęło Ministerstwo Kultury i Sztuki i utworzyło w jego wnętrzach oddział Muzeum Zamkowego w Malborku, a na podzamczu znajduje się dom kultury i teatr. Oprócz twierdzy warto zwiedzić przylegającą do niej kontr katedrę z dębowym tronem biskupim.