Twierdzę Srebrnogórską zbudowano w XVIII w. według projektu włoskiego inżyniera Ludwika Wilhelma Regelera, zmodyfikowanego przez samego króla Fryderyka Wielkiego, w celu ochrony zdobytego przez Prusy (w 1740 r.) Śląska. Pod budowę fortyfikacji wybrano dwa górujące nad Przełęczą Srebrną (586 m n.p.m.) wzniesienia: Forteczną (Warowną) Górę (686 m n.p.m.) oraz Ostróg (627 m n.p.m.). Twierdza składa się z sześciu fortów. Budowa całego kompleksu przy pomocy 4.000 robotników trwała 12 lat (1765-1777), a jej koszt wyniósł 1 668 000 talarów (w tym 70 000 przekazane jako "ofiara" Ślązaków). Zakładano istnienie w tym miejscu garnizonu liczącego 2,5 tys. żołnierzy.

W latach 1830-1848 Twierdzę Srebrnogórską wykorzystywano jako więzienie dla działaczy ruchu "Młodych Niemców". Internowano tu m.in. Wilhelma Wolfa oraz Fryderyka Reutera. 1 stycznia 1860 roku wydano rozkaz likwidacji przestarzałej już twierdzy. Ostatni żołnierze opuścili ją w 1867 r., przez kilka następnych lat fortyfikacje posłużyły wojskom pruskim jako poligon doświadczalny do prób z artylerią i materiałami wybuchowymi.

W II poł XIX w. zaczęto dostrzegać korzyści płynące z turystyki i rekreacji. Władze pruskie nakazały zaprzestać niszczenia twierdzy i uczynić z niej atrakcję dla przyjezdnych. Na początku XX w. dojazd do znajdującej się między fortami Przełęczy Srebrnej umożliwiła zębata kolej sowiogórska. Po I wojnie światowej główny fort odremontowano i urządzono w jego wnętrzu restaurację "Donjon".

Lata powojenne przyniosły postępującą dewastację twierdzy złupionej wcześniej przez wojska radzieckie. Dopiero w 1965 roku PTTK i Komenda Dolnośląskiej Chorągwi ZHP podpisała porozumienie, na mocy którego uprzątnięto II Fort Rogowy i nadano mu nazwę "Harcerz". Fort Ostróg uprzątnięto przy pomocy ówczesnego (1969) ministerstwa Górnictwa i przemianowano na Fort "Górnik". W dniu 28 czerwca 1974 na terenie Fortu Donżon otwarto muzeum ciężkiej broni palnej.

Twierdza Srebrnogórska została uznana za Pomnik historii rozporządzeniem Prezydenta RP z dnia 14 kwietnia 2004 roku.