Wysoko nad miastem Füssen wznosi się Zamek Wysoki. Niegdyś letnia rezydencja książąt-biskupów Augsburga, obecnie mieści oddział Bawarskich Państwowych Zbiorów Malarstwa oraz Galerię Miejską. Zamek Wysoki w Füssen jest jedną z najważniejszych budowli świeckich późnego gotyku niemieckiego i zachwyca nie tylko w środku: na dziedzińcu można podziwiać unikatowe malowidła w stylu trompe-l'œil.

W 1291 roku książę bawarski Ludwik Surowy nielegalnie rozpoczął budowę zamku. Biskup Augsburga wstrzymał budowę, nabył wzgórze zamkowe i rozbudował niedokończony zamek, przekształcając go w siedzibę urzędu administracyjnego. Biskup Fryderyk II von Zollern zlecił gruntowną przebudowę zamku w latach 1489–1504; efekt jest widoczny do dziś. Podczas sekularyzacji zamek w Füssen przypadł Królestwu Bawarii. Dziś służy jako urząd skarbowy i muzeum.