Obecny pałac w stylu barokowym wzniesiony został w latach 1768-1773, gdy Wolbórz był pod rządami biskupa Ostrowskiego, z wykorzystaniem murów istniejących budowli (z pocz. XVII w.) wg projektu wybitnego architekta włoskiego Franciszka Placidiego z przeznaczeniem na letnią rezydencję Biskupów Kujawskich, po tym jak wyprowadzili się oni z wolborskiego zamku.

Należy do najświetniejszych rezydencji magnackich w Polsce z okresu późnego baroku. Zespół składa się z pałacu, dwóch oficyn, pomieszczeń gospodarczych i kordegardy, a także z dziedzińca paradnego i parku pałacowego. Od południowego zachodu zespół zamknięty jest falistym ogrodzeniem z żelazną bramą. W centrum tego kompleksu znajduje się dwukondygnacyjny pałac, zbudowany na planie prostokąta z trzema ryzalitami o zaokrąglonych narożnikach w fasadzie frontowej. Na środkowym, trójkątnym szczycie kartusz rokokowy z 1773 roku. Dawniej budynek główny był połączony z bocznymi oficynami półkolistymi galeriami kolumnowymi.

Wolborski pałac był używany przez biskupów kujawskich do 1818 roku. Następnie przejęła go Komisja Rządowa Wojny Królestwa Polskiego, lokując tutaj w 1834 roku inwalidów wojennych. Następnie dawna rezydencja biskupia stała się koszarami dla dwóch rot rosyjskiego, połockiego pułku piechoty (do 1910 roku). Spowodowało to znaczną dewastację pałacu i parku, pogłębioną jeszcze spaleniem go podczas I wojny światowej.

W okresie międzywojennym w odbudowanym pałacu (1937 rok) mieściły się junackie hufce pracy. We wrześniu 1939 roku spaleniu uległa południowo-wschodnia oficyna pałacu. Podczas II wojny światowej pałac zajmowali Niemcy.

Po 1945 roku był on użytkowany kolejno przez: Wyższą Szkołę Gospodarstwa Wiejskiego, Dom Dziecka i Liceum Pedagogiczne. W latach 1950-61 przeprowadzono generalną restaurację pałacu. Od 1967 roku dawna rezydencja biskupów kujawskich jest siedzibą Zespołu Szkół Rolnicze Centrum Kształcenia Ustawicznego w Wolborzu.