Dzisiejszy dworek w Żelazowej Woli zbudowany został około 1800 jako lewa oficyna dworu Kacpra i Ludwiki Skarbków. Oficyna ta, zamieszkana przez Chopinów po ślubie w 1806, była niedużym budynkiem murowanym, o wysokim i stromym dachu, z dużymi oknami, dwiema facjatkami w dachu, bez ganków. Wewnątrz znajdowało się siedem izb bielonych wapnem.

W czasie wojen napoleońskich w 1812 dwór właściwy spłonął, a zachowały się dwie oficyny. Do 1834 w prawej mieszkali właściciele. Po przejęciu posiadłości przez Adama Towiańskiego w latach 60. XIX w. przeprowadzono remont oficyny, zmieniający jej pierwotny wygląd (m.in. dobudowano wtedy ganek). Kolejny właściciel Aleksander Pawłowski przeznaczył miejsce urodzenia kompozytora do celów gospodarczych. W czasie I wojny światowej spłonęła prawa oficyna, a z założenia dworskiego ostał się jeden podupadły budynek. W siedmiohektarowym parku nad Utratą można zobaczyć około 10 tys. gatunków i odmian drzew, krzewów, bylin i roślin cebulowych z kraju i ze świata. Są wśród nich m.in.: wierzby, klony, dęby, topole, amerykańskie sosny, kalifornijskie jodły, japońskie berberysy oraz cierniste pigwowce z Chin.

Od 1959 do Żelazowej Woli przyjeżdżają artyści z kraju i ze świata oraz uczestnicy Międzynarodowych Konkursów Pianistycznych im. Fryderyka Chopina, by wykonywać utwory kompozytora w miejscu jego urodzenia. W każdą niedzielę w okresie od maja do końca września o godzinie 12.00 i 15.00 można posłuchać koncertu muzyki Chopina. Ponadto w każdą sobotę lipca i sierpnia o godzinie 11.00 w Żelazowej Woli występują młodzi pianiści w cyklu "Estrada Młodych".