Es war zu Beginn der 60er Jahre des 14. Jahrhunderts, da erlaubte Graf Gerhard VII. von Diez, dem das Territorium im unteren Aartal gehörte, den raublustigen Rittern von Elkerhausen bei Weilburg an der Lahn eine Burg (Neu-Elkershausen) zu errichten. Diese benötigten die Elkershäuser als Stützpunkt gegen den Grafen Johann I. von Nassau-Merenberg. Kein Wunder, dass dieser eine mächtige Wut auf den Diezer Grafen hatte. Kurzerhand ließ Graf Johann von Nassau-Merenberg auf dem trutzigen Kalksteinfelsen, den er geerbt hatte, eine Burg errichten – mitten im Diezischen Gebiet. Die Karstquelle am Fuße des Felsens sollte die Grundlage für die Ansiedlung eines Dorfes bilden.

Graf Gerhard VII. von Diez versuchte mit allen Mitteln den Bau und das Bewohnen der Burg zu verhindern. Zum Schluss landete der Streit vor dem damaligen höchsten Richter, dem Kaiser. Dessen salomonisches Urteil lautete wie folgt: „Der Bau der Burg wurde im Nachhineingenehmigt. Allerdings durfte im Schutze der Burg kein Dorf errichtet werden.“ Die Machtstellung der Burg wurde dadurch erheblich gemindert.

Mit der Bauausführung beauftragten die Nassauer den Ritter Daniel von Langenau, der sein Werk nach zehnjähriger Bauzeit größtenteils aus eigenen Mitteln 1363 fertig gestellt hatte. Daniel von Langenau nahm die Burg von Johann von Nassau-Weilburg zu Lehen. 100 Jahre später besaßen 7 Ganerben den Wehrbau. 1564 hatte Wolf von Mudersbach alle Teile vereinigt. Von mächtigen Schildmauern ist Hohlenfels umgeben. Wollte man bis in den Burghof vordringen, waren sieben Tore zu erstürmen.

Ende des 15. Jahrhunderts begann die Herrschaft der Mudersbacher. Sie siedelten am Fuße der Burg Landsleute an. Diese kleine Ansiedlung bestand bis in das 17. Jahrhundert. Der letzte dieses Geschlechts, Daniel von Mudersbach, starb 1604. Er wurde in der Kirche zu Hahnstätten beerdigt. Seine Tochter war mit Harthmut von Kronberg verheiratet. So kamen die Kronberger in den Besitz der Burg.

Der 30-jährige Krieg ging nicht spurlos an der Burg vorbei. Obwohl die Schäden wieder behoben wurden, blieb die Burg lange unbewohnt. Seit 1685 baute sich der letzte Kronberger, Johann Nikolaus, die Burg als Wohnsitz aus. Er starb 1704 und die Burg ging in den Besitz des Ritters Hugo Friedrich Waldecker von Kempt über. Neben den Gartenanlagen errichtete er 1713 die malerischen Barock-Anbauten, die dem Gebäude seine märchenhafte Gestalt verleihen. 1753 übernahm Nassau die Burg, die seitdem verfiel. 1787 wurde verwertbares Material verkauft. 1816 ging die Burg an das Herzogtum Nassau, 1866 an das Königreich Preußen. 1946/47 an das Land Rheinland-Pfalz.

Die Burg wurde ab 1802 von Mitgliedern der Familie Schmidt bewohnt. Diese waren bis 1955 Pächter der Burg.

Ende der 1960er Jahre entdeckten die Nerother Wandervögel die Hohlenfels, pachteten sie, zogen ein und übernahmen sie 1963 bis 1978 als Eigentümer. Ende 1978 erwarb sie der Fotograf Hanns Hemann und zog hier ein. Er hatte das Pech, das 1979 der östliche Turm einstürzte. Bis heute führt er mit vielfältiger Unterstützung durch das Land Rheinland-Pfalz, die Deutsche Stiftung Denkmalschutz und weitere Sponsoren erhebliche Instandhaltungsmaßnahmen durch. Ältere Bürger aus der Region kennen die Burg, in der früher noch eine Gaststätte untergebracht war, als beliebtes Wanderziel am Himmelfahrtstag, wenn der Wirt mit Musik und Tanz aufwartete. Damals verkehrte auch noch die Nassauische Kleinbahn, die nahe der Burg eine eigene Station unterhielt. Sie war nicht nur ein wichtiger Güterumschlagplatz, sondern diente auch als beliebter Ausflugsbahnhof.

Zwar ist der Bahndamm heute längst aufgelassen, dennoch lohnt sich auch in diesen Tagen noch ein Spaziergang durch die Wälder mit den hohen Kalkfelsen, die so manchen geheimen Höhleneingang bergen. Denn rings um Mudershausen erstreckt sich die an Tropfsteinhöhlen reichste Karstregion in ganz Rheinland-Pfalz, deshalb auch der Name "Hohlenfels".

Viele Sagen ranken sich um den Wald bei Hohlenfels, der einst zum Markwald (wirtschaftlicher Verband) "Fuchsenhelle" gehörte, an dem mehrere Gemeinden im Umkreis Nutzungsrechte hatten. Trollartige Fabelwesen und ein kleines Männchen sollen den Waldbesuchern in früheren Zeiten hier erschienen sein. Bis heute überliefert ist auch die "Mär vom Glück auf Hohlenfels", die aus der Zeit stammt, als Freiherr Johann Nikolaus von Kronberg in die Burg übersiedelte.

Zahlreiche Wanderwege sind ausgeschildert. Am Ort vorbei führt unter anderem der berühmte europäische Fernwanderweg Nummer 1 von Flensburg nach Genua. In der Domäne Hohlenfels unterhalb der Burg besteht zudem die Möglichkeit zur Einkehr und Übernachtung in einer Gaststätte mit angeschlossener privater Jugendherberge.