Zámek je jednopatrový, čtyřkřídlý s nevelkým obdélníkovým nádvořím. Vstupní portál patří mezi nejhezčí na Moravě.
Zámek, který byl součástí městských hradeb, vybudoval v letech 1522-1526 Jan z Pernštejna. Za Vratislava z Pernštějna došlo v letech 1568-1572 k rozsáhlé renesanční přestavbě. Byly vybudovány arkády, které však byly za třicetileté války zničeny a umělecky velmi cenný vstupní portál, který se zachoval dodnes. Na přelomu 16. a 17.stol. se panství stalo majetkem Karla z Lichtenštejna a v té době zámek slouží i jako vězení.
V polovině 17. století švédové vypálili město i zámek. Zámek byl později provizorně opraven, ale již nikdy poté nebyl využíván jako panské sídlo. V 18. stol. sloužil jako sýpka a židovské vězení. Ve 2. polovině 19. stol. koupila zámek rodina Chmelařových a vytvořila z něj kulturní centrum.
V roce 1893 koupil zámek úvěrní spolek Záložna a zastavárna, který budovu opravil a zrekonstruoval. Fasádu nechal ozdobit moderním sgrafitem od Jano Köhlera. Hlavními motivy se stal hanácký lid a legendární historické náměty, doplněné heraldickými prvky a slunečními hodinami.
V současné době je vlastníkem zámku město Prostějov, které se snaží o obnovu provozu v tomto historickém objektu.
Více tipů na výlet na Prostějovku.