Caspar Schoff w 1559 r. rozpoczął budowę murowanego dworu, kamiennego, piętrowego z dziedzińcem, otoczonego murami obronnymi i wieżą bramną, wysuniętą przed lico murów obwodowych. Całość została otoczona nawodnioną fosą. Po Schaffgotschach dwór przejął w 1584 r. Gregorius von Kahlen. Od 1606 r. właścicielem Czarnego został Friedrich von Nimptsch z Sokołowca. W lipcu 1623 r. we dworze wybuchł pożar. Z 1656 r. pochodzi wiadomość, że Ernst von Nimptsch ukończył budowę i rozbudowę dworu, który uzyskał kształt zbliżony do obecnego. Prace remontowe prowadzone w latach 20. XVIII w. spowodowały likwidację renesansowych szczytów. W 1679 r. Ernst von Nimptsch sprzedał majątek Czarne miastu Jelenia Góra. W 1718 r. spłonęły bliżej nieopisane części zamku, które zdaniem Scholzego zostały odbudowane. Wtedy wieża otrzymała barokowy hełm znany z ryciny, a do skrzydła wschodniego dobudowano równoległy budynek o tej samej wysokości.

Około 1885 r. nastąpiła przebudowa i modernizacja dworu; zredukowano bryłę o skrzydło wschodnie i rozebrano ściany szczytowe, a dachy otrzymały dzisiejszy wygląd dwuspadowy. Do przełomu wieku dzierżawcami majątku byli panowie Weidner i Marz. Od 1921 do 1945 r. mieszkała tu rodzina Rahm. Obecnie w dwór użytkowany jest przez Fundację Kultury Ekologicznej.