Kaštieľ dali postaviť v roku 1633 bratia Daniel a Pavol Esterházyovci ako renesančný opevnený objekt. V roku 1736 bol prestavaný v barokovom slohu. Z tejto prestavby sa zachovali mramorové krby na poschodí. Dnešnú podobu nadobudol kaštieľ v roku 1861 po radikálnej prestavbe Jozefom Esterházym, ktorý sa inšpiroval romantickou anglickou gotikou. Kaštieľ je obklopený prírodne krajinárskym parkom, ktorého strohosť kontrastuje s bohatou výzdobou fasád budovy.
Do roku 1990 bolo sídlom Vlastivedného múzea. Od roku 1991 je nevyužívaný. Objekt by potreboval celkovú rekonštrukciu, na ktorú však mesto nemá potrebné financie. Je strážený a zabezpečený proti devastácii, mesto zabezpečuje jeho priebežnú, najnutnejšiu údržbu.