Najstarsze zachowane dokumenty wzmiankujące castrum w Uniejowie pochodzą z 1339 roku i odnoszą się do opisu zniszczeń spowodowanych przez najazd krzyżacki latem 1331 roku. Opis ten dotyczy drewnianej jeszcze warowni wzniesionej przypuszczalnie w XII wieku przez nieznanych dziś fundatorów. Budowę murowanego zamku łączyć można z osobą arcybiskupa gnieźnieńskiego Jarosława Bogorii ze Skotnik, współpracownika króla Kazimierza Wielkiego i wybitnego budowniczego, z którego inicjatywy powstały warownie w Łowiczu, Opatówku pod Kaliszem i w Kamieniu na Krajnie. Wybudowany w latach 1350-1365 obiekt miał stanowić uzupełnienie systemu kazimierzowskich twierdz granicznych, broniąc wraz z Łęczycą, Sieradzem i Kołem
dostępu do centrum państwa od północy i północnego-zachodu. Posiadał więc on wybitnie militarny charakter, co nie uratowało go jednak przed zdobyciem i splądrowaniem w roku 1381 przez Bernarda z Grabowa, zbrojnie domagającego się zaległego spadku po swoim bracie, staroście uniejowskim Pełce. W połowie XV stulecia zamek poddano gruntownej przebudowie i dodatkowo
ufortyfikowano, co i tym razem nie przeszkodziło w zajęciu go w 1492 roku przez znanego wielkopolskiego szlachtę Wawrzyńca Kośmidra Gruszczyńskiego z Iwanowic, toczącego z arcybiskupem Zbigniewem Oleśnickim prywatną wojnę o Koźmin. W tym czasie budowla prócz zadań rezydencjalnych i obronnych pełniła też funkcję kościelnego archiwum oraz biblioteki – w Uniejowie odbywały się zjazdy duchowieństwa, a w trakcie wojny trzynastoletniej na zamku trzymano cenne kosztowności i relikwie. Ponadto mieściło się tu więzienie dla innowierców i nieposłusznych księży, ale nie tylko. Jednym ze świeckich lokatorów owego przybytku był gdański rzeźbiarz Hans Brandt skazany w 1485 za ucieczkę z pieniędzmi, jakie otrzymał od Zbigniewa Oleśnickiego tytułem zlecenia na wykonanie nagrobka św. Wojciecha dla katedry w Gnieźnie. Nierzetelny artysta schronił się w Prusach, gdzie został złapany, a następnie osadzony w uniejowskim więzieniu, w którym chcąc niechcąca swe dzieło ukończył.