Pierwsze przekazy o istnieniu osady w miejscu pałacu pochodzą z XVI wieku, które potwierdziły wykopaliska archeologiczne z 2009 roku. Znajdował się tu w tym czasie prawdopodobnie dwór sekretarza królewskiego Mikołaja Raczkowicza, po którego śmierci jego żona Katarzyna Wołłowiczówna wniosła go do majątku swojego drugiego męża Piotra Wiesiołowskiego. Na jego też polecenie budowniczy królewski Hiob Bretfus wzniósł w Białymstoku murowany gotycko-renesansowy zamek.

W okresie zaboru rosyjskiego pałac został gruntownie rozgrabiony z wyposażenia. Drzewa i krzewy wywieziono do rezydencji carskich, a ponad dwadzieścia rzeźb z ogrodu do Petersburga. W 1826 roku skuto rzeźby zdobiące attykę, zlikwidowano rokokowe ornamenty na fasadzie i zrzucono z dachu barokowe hełmy. Po adaptacji pomieszczeń, ukazem carskim umieszczono tu w 1841 roku pensję dla panien z wyższych sfer rosyjskich – Instytut Dobrze Urodzonych Panien. W tym czasie zabrano między innymi ponad sto figur z pałacowego ogrodu francuskiego. Powodem miało być to, że nagie rzeźby mogłyby deprawować pensjonariuszki. Zburzono także prywatny teatr hetmana Branickiego, a unikatową kurtynę podzielono na cztery części i sprzedano w Anglii.

Dalsze losy części kurtyny są nieznane. W XIX wieku zasypano też większość ogrodowych stawów. W 1944 roku pałac został w 70 procentach zburzony przez wycofujących się Niemców. Dużą część z tego, co pozostało, zniszczyła w tym samym roku Armia Czerwona. Aktualnie trwają prace rekonstrukcyjne ogrodów barokowych, by przywrócić je do stanu z XVIII wieku. W tym celu przeprowadzono prace archeologiczne i badania dawnych planów i opisów z epoki. Rekonstrukcja ogrodów ma trwać do 2012 roku. Planowane jest odbudowanie Pawilonu Chińskiego, Pawilonu pod Orłem, Bramy do Zwierzyńca Jeleni, a także wycięcie wysokich drzew znajdujących się wzdłuż południowo-wschodniego boku ogrodów i odtworzenie tam boskietów.