Historia obiektów ulokowanych na górze Oybin jest długa i złożona. Pierwsza budowla obronna powstała w drugiej połowie XIII w. z polecenia Chwalo z rodu Hronowiców. W roku 1290 zamek w ramach darowizny przejmuje jego brat, Zdenek (bądź Ztenek). Ta pierwsza warownia miała za zadanie bronić jednego ze szlaków handlowych, prowadzącego do Żytawy. W 1310 r. baron czeski Henryk z Lipy otrzymał zamek Oybin (czes. Ojvín) jako lenno od niemieckiego króla Henryka VII. Tuż po tym rozbudował on znacząco ten obiekt. Nie nacieszył się jednak nabytkiem, ponieważ już w 1319 r. ziemia żytawska przeszła pod władanie czeskiego króla Jana Luksemburskiego. Ten przekazał oybiński zamek księciu Henrykowi z Jawora (synowi śląskiego księcia Bolka I Surowego). Po jego śmierci w 1346 r. zamek powrócił do królów czeskich – Jana Luksemburskiego, a następnie jego syna – Karola IV. Ten ostatni – będąc już cesarzem rzymskim – w 1364 r. nakazał miastu Żytawa rozbudowę zamku i przekształcenie go w swoją reprezentacyjną rezydencję. Dwa lata później cesarz zmienił decyzję i ufundował celestynom przy zamku klasztor. Zgodnie z dokumentem fundacyjnym część budynków zamkowych została przekazana braciszkom. Potężny kościół klasztorny, którego ruiny dominują dziś na Oybinie, został poświęcony w 1384 r. Kolejne ważne wydarzenia dla zamku i klasztoru w Oybinie rozegrały się w pierwszej połowie XV w. i związane były z zamieszkami husyckimi. Oblegane dwukrotnie przez husytów (w 1420 r. i 1429 r.) nigdy nie zostały przez nich zdobyte. Niedostępność góry Oybin wpłynęła na decyzję, aby w klasztorze przechować cenne relikwie z praskiej katedry. Ukrywano je w klasztornych podziemiach przez dwadzieścia lat (1421-1440).

Dobre czasy dla oybińskich zakonników skończyły się w XVI w. wraz z rozszerzającą się reformacją. Stopniowo malała liczba mnichów, a po śmierci przeora Christopha Uthmanna klasztor został ostatecznie zlikwidowany (1556 r.). Obiekt trafił najpierw w ręce jezuitów, a następnie przeszedł pod zarząd Żytawy. Częściowej degradacji zabudowań na górze Oybin dokonał pożar w 1577 r. Od tego czasu założenie zamkowo-klasztorne było jeszcze w ograniczony sposób wykorzystywane. Jednak ponad sto lat później, w 1681 r., po zniszczeniach spowodowanych obrywem skalnym budynki te zostały definitywnie opuszczone. Dopiero w 1992 r. zabrano się za odgruzowywanie, czyszczenie, częściową restaurację i zabezpieczenie ruin. Obecnie szczątki zamku i klasztoru są jedną z największych atrakcji Górnych Łużyc i Sudetów.