Zurück beim Hof führt ein abschüssiger Pfad hinauf auf den Hugofels. Die Burg Hugofels bildete einst eine Doppelburg mit der Rothenfels. Auch sie gelangte im 15. Jahrhundert in den Besitz von Graf Hugo XIII. von Montfort. Der Pfad hinauf zur Burgruine ist etwas besser zu laufen, die Reste des ehemaligen Donjons sind allerdings noch kläglicher als bei Rothenfels.
Die Ruinen beschränken sich im Wesentlichen auf einen Teil der Außenmauer sowie einem tiefen Loch, dem ehemaligen Burgbrunnen. Vom höchsten zugänglichen Punkt öffnet sich auch hier die Sicht auf den Großen Alpsee, außerdem über Immenstadt auf den Mittagberg sowie über die Hörnergruppe zu den Allgäuer Hochalpen.