Weit über 100 Jahre dominierte das „Berghaus“ den Pfaffenberg, von dem wahrscheinlich auch der Ortsname Steinberg abgeleitet ist. Jetzt ist das Gebäude abgerissen. Auf dem Areal entsteht ein neues Wohnhaus.
Dazu gibt es eine lange Vorgeschichte, denn Eigentümer des gesamten Areals ist die Bürgerspitalstiftung Schwandorf. 2012/2013 wies dort die Gemeinde Steinberg das Baugebiet „Pfaffenberg“ aus, wo viele Einheimische und auch Neubürger ein neues Zuhause fanden. Das markante Berghaus – damals noch bewohnt – blieb stehen.
Es wurde hier wahrscheinlich schon Mitte des 19. Jahrhunderts Granit abgebaut, als die Firma Blauberg ein Grundstück erwarb „zur Ausbeutung für Granitpflastersteine“. Diese wurden im darauffolgenden Jahrhundert mit Ochsen- oder Pferdefuhrwerken zum Bahnhof Schwandorf gebracht und hauptsächlich nach Nürnberg zum Straßenbau transportiert. Der Betrieb wurde teilweise unterbrochen, eingestellt und dann wieder neu eröffnet. Die Steinhauer – in der Glanzzeit um die hundert – brauchten eine Unterkunft, und so wurde aus Granitsteinen bereits Mitte des 19. Jahrhunderts ein Gebäude errichtet. 1888 kamen „Arbeiterwohnungen in die bereits bestehende Marketenderei“ sowie der „Neubau eines Waschhauses und einer Holzlege“ dazu.
Dem Aufenthaltsraum für die Arbeiter mit Kantine folgte später ein regelrechtes Wirtshaus mit dem späteren „Fenzlwirt“ Michael Hauzenberger. Auch die Dorfschmiede verlegte ihren Sitz bis zum Jahr 1900 hierher. Ebenso fand der erste Arbeiterstreik in der Geschichte Steinbergs hier statt, sodass sogar die Gendarmerie aus Schwandorf anrücken musste, um die „Aufständischen zu bändigen“. 1901 verunglückte der Steinhauer Jakob Insprucker bei einer Sprengung tödlich.
In einem Nebengebäude befand sich in der Zeit des Nationalsozialismus ein Arbeitsdienstlager, ebenso wie in Fronberg, Ettmannsdorf und Dachelhofen. Nach dem Reichsarbeitsdienstgesetz von 1935 waren alle Deutschen verpflichtet, „ihrem Volk im Reichsarbeitsdienst zu dienen“. Granit wurde bis in die Mitte des vorigen Jahrhunderts noch „gebrochen“, wenn auch nur sehr vereinzelt. Die Bezeichnungen der einzelnen Brüche wurden nach Zahlen benannt: „Oanser“, „Zwoarer“ usw.
Sichtbar von den einzelnen „Abbaugebieten“ ist nur noch das im Volksmund „Wasserloch“ genannte Badegewässer im Freizeitzentrum, früher eine 17 Meter tiefe „Ausbeutung“. Auch der 1927 erfolgte Anbau an die damalige Pfarrkirche St. Wendelin, der mit dem Neubau der Kirche wieder abgerissen wurde, wurde mit „heimischen“ Granitsteinen errichtet, ebenso wie die jetzige Friedhofsmauer oder die Grundmauern des Rathauses. Das Braunkohlemuseum hat diese immer noch durch stumme Zeugen präsente Zeit des Granitabbaus im Dachgeschoss festgehalten. Orts- und Kreisheimatpfleger Jakob Scharf hat bereits 2022 versucht, das historische Gebäude unter Denkmalschutz zu stellen, allerdings vergeblich.
Nach Beendigung der Steinbrüche war das Haus jahrzehntelang Wohnraum für viele Familien, wobei die Bürgerspitalstiftung mit Reparatur- und Sanierungsarbeiten immer auch Geld investierte. All das ist nun Vergangenheit und Ortsgeschichte.
