Die Holzhäuser wurden für Waldarbeiter und Schwemmer zu Zeiten des Kanalbaus am Ende des 18. Jahrhunderts errichtet. Zu den ursprünglichen 5 Häusern kamen bald weitere, so dass 1945 in 38 Häusern 260 Einwohner hier lebten. Eines der ältesten Häuser, erbaut um 1792 zur Zeit der Ortsgründung, brannte 1935 nieder. Sein Bewohner, der eigenwillige Holzhauer Wenzel Pasta, baute es mit Unterstützung des Fürsten Adolf von Schwarzenberg in kurzer Zeit wieder auf. Über Pasta schrieb die Presse, dass er sein Handwerk ausgezeichnet verstand. Er konnte die dicksten Stämme bewegen, weil er es verstand, seine Kräfte geschickt einzusetzen.
In Hirschbergen lebten auch die besten Steinhauer. Ihr Können stellten sie bei den ständigen Verbesserungen des Kanals unter Beweis. Der nahe Tunnel mit Verzierungsportalen war ihr besonderes Werk. Sie schufen 1876-77 auch das Stifter-Denkmal über dem Plöckensteinersee.
