XIV-wieczny zamek został zbudowany na miejscu grodu warownego istniejącego już w X-XI wieku. W latach 1146-1166 był siedzibą syna Bolesława Krzywoustego – księcia Henryka Sandomierskiego. Nie wiadomo jednak jak wyglądała warownia przez niego wybudowana.

Gotycki zamek wzniesiony przez Kazimierza Wielkiego pozostawił swój ślad w fundamentach ośmiobocznej południowej wieży narożnej, która jest najstarszą częścią zabytku. Została wzniesiona za panowania Kazimierza Jagiellończyka w XV wieku i stanowiła integralną część z tzw. Wielkim Domem – siedzibą księcia.

Za czasów Zygmunta Starego, a następnie Zygmunta Augusta, zamek został rozbudowany. Z tej budowli przetrwała część łącząca dwie narożne wieże. Nad wejściem od wschodniej strony zachowała się tablica elekcyjna Zygmunta Starego, data 1520 i kartusz z orłem zygmuntowskim. Elewacja tego fragmentu wykonana była ze specjalnie wypalanej cegły zendrówki, układanej w romby. Budowniczym nadzorującym był mistrz Benedykt, zwany Sandomierskim (Sandomierzaninem), będący na usługach dworu królewskiego. Jego dziełem były, m.in. dwukondygnacyjne arkadowe krużganki wokół zamkniętego dziedzińca. Wnętrza z czasów królewskich nie zachowały się. Uległy przeróbce lub zniszczeniu.

W czasie wojen ze Szwecją zamek został wysadzony w powietrze przez uciekającą załogę z komendantem Sinclerem. Zginęło wówczas około pięćdziesięciu Polaków, którzy pierwsi wtargnęli do opuszczonego przez wroga zamku. Ocalałe wówczas skrzydło jest tym, które przetrwało do dziś i tylko ono było odbudowywane za czasów Jana III Sobieskiego.
Po trzecim rozbiorze Polski austriacki zaborca przeznaczył budynek w 1795 na więzienie i siedzibę sądu. Więzienie zlikwidowano dopiero w 1959.
Obecnie w odrestaurowanych pomieszczeniach zabytkowej budowli ma siedzibę Muzeum Okręgowe w Sandomierzu.