Zamek powstał na miejscu istniejącego tu grodu drewniano-ziemnego, podniesionego w 1108 r. do rangi kasztelanii przez Bolesława Krzywoustego. Kasztelania była wzmiankowana w bulli papieża Hadriana I w 1155 r. jako castrum Valan. Wzniesienie pierwszej murowanej budowli przypisuje się księciu Bolesławowi I Wysokiemu. Powstała ona w końcu XII wieku i składała się z muru obwodowego i sześciokątnej wieży. Na początku wieku XIII często na zamku przebywał książę Henryk I Brodaty wraz ze swoją małżonką Jadwigą (która została świętą i jest patronką Śląska). Książę rozbudował zamek o mieszkalną wieżę i licząca 9 metrów kaplicę. Wkrótce zastąpiono sześciokątną wieżę okrągłą, o średnicy 12 metrów i grubości murów do 3 metrów. Wieża dotrwała do naszych czasów i obecnie ma 12 metrów wysokości.

W latach 1989-1994 prowadzono na zamku badania archeologiczne (Katedra Archeologii Uniwersytetu we Wrocławiu). Założeniem tych badań było dalsze poznanie rozwoju przestrzennego zamku oraz identyfikacji wzmiankowanej w źródłach pisanych historii kasztelanii wleńskiej. Z dobrze zachowanej baszty, udostępnionej dla turystów, przy pięknej pogodzie można było podziwiać pasmo Karkonoszy a także panoramę Gór Kaczawskich i Pogórza Izerskiego.