W 1096 Brzetysław II zbudował tu gród, który po zdobyciu przez Bolesława Krzywoustego został opuszczony. Gród ów był położony w pobliżu wzniesionego w początkach XIV wieku kościoła klasztornego, w pobliżu przepływającej tamtędy Nysy Kłodzkiej. Według kroniki klasztoru cystersów z 1592 w Kamieńcu znajdowano w czasie budowy kościoła fragmenty murów.

Podczas II wojny światowej Niemcy urządzili tutaj magazyn przejściowy dla zwożonych z całego Śląska dzieł sztuki. Np. zbiory i archiwalia z Wrocławia rozlokowano w pałacu, w ujeżdżalni, oraz w pobliskim kościele i zabudowaniach parafialnych. Po 1945 wyposażenie pałacu zostało wywiezione bądź zdewastowane, w lutym 1946 cały kompleks spłonął, prawdopodobnie podpalony przez żołnierzy radzieckich. Część zagrabionych marmurów zdobi Salę Kongresową w warszawskim Pałacu Kultury i Nauki. Od końca lat 80. obiekt był rekonstruowany przez prywatnego dzierżawcę, Włodzimierza Sobiecha, do jego śmierci w sierpniu 2010. W części pałacu działa hotel i restauracja.