Von der Hütte zum Gasthaus
Das Gebäude, so wie es sich heute präsentiert, ist das Ergebnis von mehreren Bauabschnitten.
1852 errichtete Carl Gottlob Kliemann, der Pächter des Pfaffendorfer Erblehngerichtes, in der Nähe des heutigen Abstiegs zur Goldschmidthöhle eine einfache Einkehrstätte, die so genannten Rindenhütten. Als Kliemann verurteilt wurde weil er den Geldfälscher Goldschmidt versteckt hatte, wurde diese Einkehr 1854 allerdings abgerissen;
Erst 1880 ließ der Wirt des Gasthofes zu Pfaffendorf Paul Ulbrich am selben Standort wie Kliemann eine Sommerwirtschaft errichten;
1891 errichtete Ulbrich am Standort des heutigen Gasthauses ein kleines Gasthaus mit 40 Sitzplätzen im Fachwerkstil. Es ist bis heute als ältester Teil des heutigen Berggasthauses erhalten;
1895 verkauft die Witwe Ulbrichs an Hermann Keiler, Kellner auf der Bastei.
1897 baute Keiler eine Küche und eine Gaststube an, so dass nun ca. 60 Sitzplätze zur Verfügung standen;
1899 erweiterte er den Gastraum um einen einstöckigen Gesellschaftssaal mit etwa 100 Plätzen;
1904 wurde der Saal um eine Etage aufgestockt, in der Zimmer zur Übernachtung eingerichtet wurden. Insgesamt standen nun 170 Innen-Sitzplätze und 130 Aussen-Sitzplätze zur Verfügung. Das Berggasthaus hatte zum damaligen Zeitpunkt die heutigen Ausmaße erreicht.
Zeitgenössische Werbung für den Pfaffenstein (vor 1899)