Pierwsze wzmianki o dobrach paulińskich pochodzą z 1655 roku i są związane z przybyciem jezuitów do Jeleniej Góry. Dzięki nim szybko utrwaliła się nowa nazwa folwarku Paulinenhof. W połowie XIX wieku folwark i otaczające je ziemie kupił znany jeleniogórski fabrykant Richard von Kramst.

W roku 1855 zlecił on jeleniogórskiemu ogrodnikowi Siebenhaarowi, twórcy plant jeleniogórskich, założenie na Górze Krzyżowej parku krajobrazowego. Willę w stylu zamkowo-dworskim zlokalizował on na specjalnie uformowanej skarpie na wschodnim zboczu góry. W 1906 roku Oskar Carlo rozpoczął przebudowę i modernizację pałacu. Powierzył to zadanie wrocławskiemu architektowi Karolowi Grosserowi, który rozbudował pałac w duchu eklektycznym. Po śmierci Oscara Caro w roku 1931 obiekt został zakupiony przez Niemiecki Front Pracy, który przebudował go na centrum szkoleniowe NSDAP.

We wrześniu 1945 roku pałac stał się największą państwową składnicą dolnośląskich dzieł sztuki, następne zlokalizowano w nim kasyno oficerskie dla pobliskiego garnizonu wojskowego. Od 2002 roku pałac jest własnością prywatnej spółki i mieści się w nim hotel wraz z restauracją.