Die Pläne für das klassizistische Gebäude stammen vom Architekten Baptist Lechner. Zunächst diente das Schlösschen, das nach dem Reichsgrafen von Rumford, Sir Benjamin Thompson, benannt ist, als Aufenthaltsort für Offiziere. Später wurde es für höfische Zwecke genutzt. Bis zu 150 Abendgäste fanden in dem prachtvollen Spiegelsaal Platz.

Nach den Bombardierungen des Zweiten Weltkriegs musste das Rumfordschlössl, auch Rumfordhaus genannt, renoviert werden. Seit den 1960er Jahren wird das Haus hinter dem chinesischen Turm vom Kreisjugendring als Jugendtreff genutzt. Heute ist es auch unter dem Namen Natur- und Kulturtreff bekannt.

Schwerpunkte der Arbeit im Rumfordschlössl sind Umweltpädagogik, Kinderkultur und Hausaufgabenbetreuung. Das Angebot der Einrichtung für Grundschulkinder, Schulklassen und Familien aus dem Einzugsbereich und darüberhinaus ist aus München kaum noch wegzudenken.