Erstmals erwähnt wurde Planegg im Jahr 1409, zu einer sogenannten Veste wurde es vermutlich zwischen 1415 und 1420 ausgebaut. Im Jahr 1617 wurde dann die Schlossanlage erheblich erweitert, in diesem Jahr wurde auch die Schlosskapelle erstmals erwähnt.

Im Jahr 1835 wurde eine Schlossbrauerei gegründet, die zuletzt bis 1931 von der Pschorrbräu AG genutzt wurde. Heute befindet sich in den Räumlichkeiten ein Magazin der Universitätsbibliothek München.

Im 18. Jahrhundert erhielt die Schlossanlage dann ihr barockes Aussehen, das sie bis heute prägt. Dazu gehört auch ein Schlosspark, der im englischen Landschaftsstil angelegt ist und durch den der Fluss Würm fließt.

Die komplette Anlage ist heute im Privatbesitz der Familie von Hirsch und daher nicht für die Öffentlichkeit zugänglich. Die Schlosskapelle ist ebenfalls nur zu bestimmten Anlässen geöffnet.