Zamek w Smoleniu stał zapewne już w XIII wieku, skoro z kronik wynika, że budowla obronna w tym miejscu (zapewne drewniana) zniszczona została podczas walk Władysława Łokietka z Wacławem, królem Czech, w 1300 roku. W połowie XIV wieku nowa, murowana warownia, wzniesiona została prawdopodobnie przez Ottona z Pilczy herbu Topór. Początkową bryłę zamku stanowiła niewielka kamienna budowla z wysoką wieżą. Później obiekt systematycznie się rozrastał poprzez dobudowywanie dwóch zamków dolnych. Na przełomie XIV i XV wieku panią na Smoleniu była Elżbieta Pilecka-Granowska, trzecia żona Władysława Jagiełły. Na przełomie XV i XVI w. w należącym do Pileckich zamku przebywał Biernat z Lublina, pełniący tutaj funkcję kapelana oraz prywatnego lekarza i sekretarza pana zamku, Jana Pileckiego. Z listów Biernata wiemy o istnieniu na zamku w Smoleniu bogatego księgozbioru. Kolejnymi właścicielami, po Pileckich, stali się w XVI wieku Padniewscy. Bogaty i potężny ród potrzebował jednak znacznie bardziej okazałej rezydencji, dlatego też wkrótce właściciele Smolenia przenieśli się do Pilicy, gdzie postawili sobie nowy zamek. Opuszczona warownia w Smoleniu ucierpiała znacznie w czasie potopu szwedzkiego. Planowano przeznaczenie jej na klasztor, co jednak nie doszło do skutku. W połowie XIX wieku zamek został kupiony i częściowo odbudowany przez Romana Hubickiego, który założył tu znana fabrykę śrutu „Batawia”. W XX wieku prowadzono na zamku prace zabezpieczające oraz wykopaliska archeologiczne.