Zamek Lenno powstał na miejscu istniejącego tu grodu drewniano-ziemnego, podniesionego w 1108 r. do rangi kasztelanii przez Bolesława Krzywoustego. Kasztelania była wzmiankowana w bulli papieża Hadriana IV w 1155 r. jako castrum Valan. Wzniesienie pierwszej murowanej budowli przypisuje się księciu Bolesławowi I Wysokiemu. Powstała ona w końcu XII wieku i składała się z muru obwodowego i sześciokątnej wieży. Na początku wieku XIII często na zamku przebywał książę Henryk I Brodaty wraz ze swoją małżonką Jadwigą (która została świętą i jest patronką Śląska). Książę rozbudował zamek o mieszkalną wieżę i licząca 9 metrów kaplicę. Wkrótce zastąpiono sześciokątną wieżę okrągłą, o średnicy 12 metrów i grubości murów do 3 metrów. Wieża dotrwała do naszych czasów i obecnie ma 12 metrów wysokości.

W połowie XIII wieku zamek upodobał sobie znany z awanturniczego życia syn Henryka II Pobożnego (a wnuk Henryka I Brodatego i św. Jadwigi), Bolesław II Rogatka. Właśnie w zamkowej wieży więził on w 1257 r. wrocławskiego biskupa Tomasza I, a w 1277 swego bratanka, księcia wrocławskiego Henryka IV Probusa. W połowie XIV wieku za panowania księcia świdnicko-jaworskiego Bolka II Małego nastąpiła kolejna rozbudowa zamku, powstał wówczas tzw. zamek średni. Po jego śmierci wdowa po nim, księżna Agnieszka przekazała w 1368 r. zamek w zastaw lenny rycerzom von Zedlitz. W 1377 r. właścicielem zamku został Tymo von Kolditz, który dokonał rozbudowy i umocnienia warowni. W 1428 r. podczas powstania husyckiego zamek był przez powstańców bezskutecznie oblegany.

W następnych latach właściciele zmieniali się często i nie dbali o budowlę. Od 1465 r. jego właścicielem był rozbójnik Hans von Zedlitz, który nie oszczędzał nawet mieszkańców Wlenia. W latach 1567–1574 następny właściciel zamku Sebastian Zedlitz przeprowadził przebudowę zamku. Prace nadzorował architekt Jerzy der Wahlich. Wzmocniono wówczas obronność warowni poprzez podwyższenie murów i wieży. Nowym właścicielem zamku już w 1581 r. został Sebastian von Schaffgotsch, a w 1605 r. następny awanturnik z rodziny von Zedlitz, Konrad, gnębiący okoliczną ludność. Wymuszał on od ludności różnorodne daniny i usługi, a jeżeli nie chcieli oni spełnić jego życzeń, więził on w lochu burmistrza miasta.

W czasie wojny trzydziestoletniej zamek był kilkakrotnie oblegany i zdobywany przez wojska szwedzkie i cesarskie. 7 września 1646 roku wojska Szwedzkie ostatecznie się poddały, wojskom cesarskim dowodzonym przez generała Montecucoli, który, nakazał wysadzenie zamku, by już nigdy nie był bastionem oporu. Od tej pory budowla pozostaje w ruinie.

Wreszcie w 1646 r. został podpalony, przez co popadł całkowicie w ruinę. Po tej wojnie nowym właścicielem zamku został pułkownik króla Francji Ludwika XIII Adam von Kaulhaus. Jednak nie podjął on odbudowy zniszczonego zamku, lecz zbudował na stokach góry na której stoi zamek nowy pałac, w którym zamieszkiwał. W wieku XVIII zamek kupił hrabia Grünfeld, a po jego śmierci w 1804 r. przeszedł na własność rodziny von Haugwitz, w której rękach pozostawał do II wojny światowej.

W latach 1989–1994 prowadzono na zamku badania archeologiczne (Katedra Archeologii Uniwersytetu we Wrocławiu). Założeniem tych badań było dalsze poznanie rozwoju przestrzennego zamku oraz identyfikacji wzmiankowanej w źródłach pisanych historii kasztelanii wleńskiej. Z dobrze zachowanej baszty, udostępnionej dla turystów, przy pięknej pogodzie można było podziwiać pasmo Karkonoszy, a także panoramę Gór Kaczawskich i Pogórza Izerskiego.