A kastélyt az 1720-as években kezdte építtetni Ráday Pál, aki II. Rákóczi Ferenc diplomatája volt. A könyvtár mennyezeti freskóját 1763-ban, az emeleti díszterem freskóját pedig 1766-ban készítette Scherwitz Mátyás. Az 1770-es évektől irodalmunk nagyjai is megfordultak itt. 1825-ben tűzvészben leégett, a képtár nagy része elpusztult. Az épületet később elárverezték, gyűjteményét széthordták. 1861-ben a könyvtárat a Dunamelléki Református Egyházkerület megvásárolta és Budapestre hozta. A második világháborúban is károkat szenvedett az épület, 1950-től kórház üzemelt falai között. Most ismét látogatható, a restaurációs munkálatok már eddig is gyönyörű falrészeket tártak fel, a teljes helyreállítás azonban hosszabb időt vesz igénybe.