Das mittelalterliche Schloss Kaltenberg wurde 1912 erbaut und befindet sich seit 1955 im Besitz des Hauses Wittelsbach. Die heute vierflügelige Anlage geht größtenteils auf Umbauarbeiten Mitte des 19. Jahrhunderts zurück. Vor dem Hauptschloss befindet sich ein größeres Areal mit schlichten Wohn- und Wirtschaftsbauten, die ebenfalls im 19. Jahrhundert erbaut wurden. Die gesamte Anlage ist von einem mittelalterlichen Burggraben umgeben und dicht bewaldet.

Ein besonderes Highlight der mittelalterlichen Burganlage sind die Kaltenberger Ritterspiele. An drei Wochenenden im Sommer finden auf dem Turnierplatz vor dem Schlossgelände die Ritterspiele statt, die zusammen mit dem Mittelaltermarkt das kleine Landschloss überregional bekannt gemacht haben.

Seit 1260 ist Schloss Kaltenberg in Besitz einer Brauerei, die seit 1870 unter dem Namen "König Ludwig Schlossbrauerei" jährlich rund 100.000 Liter Bier in den historischen Gemäuern braut.