Der Ortsteil Kemptens, in dem wir uns befinden, nennt sich „Lenzfried“ und wurde erstmals im Jahre 1330 erwähnt. Ab 1461 befand sich hier das Franziskanerkloster St. Bernhardin, welches später von den Franziskanerinnen des Kemptener St.-Anna-Klosters übernommen wurde (ab 1548). Die ehemalige Klosterkirche befindet sich direkt gegenüber dem Hotel und ist heute die Pfarrkirche St. Magnus.
Das Hauptgebäude des Landhotel Hirsch ist ein Haus mit langer Tradition und zählt zu den ältesten Bauten Lenzfrieds. Seine Geschichte reicht bis in das Mittelalter zurück.
Erstmals wurde es als sogenannter „Meierhof“ 1394 erwähnt. Im Jahre 1559 wurde es vom damaligen Besitzer, Hans Wilhelm von Laubenberg zu Wagegg an den Stift Kempten verkauft.