Brandenberg liegt im Brandenberger Tal, das von der Brandenberger Ache und ihren Zuflüssen geprägt ist. Das Gemeindegebiet reicht bis zu den Quellen des Filzmoosbachs und des Weißbachls und grenzt im Norden an Bayern, im Süden an Kramsach. Die steilen Täler bilden markante Klammen wie die Kaiserklamm, während das Gebirge zu den Brandenberger Alpen zählt.
Erstmals schriftlich erwähnt wurde der Ort zwischen 1140 und 1147 als Brantenberch, wobei der Name auf eine Brandrodung zurückgeht. Ursprünglich hieß das Tal Valepp, doch der heutige Name setzte sich durch die Besiedlung nach der Rodung durch. Wirtschaftlich prägten lange Zeit Landwirtschaft, Holzwirtschaft und Jagd das Tal, wobei die Holztrift bis 1966 eine zentrale Rolle spielte. Besonders bekannt sind die Erzherzog-Johann-Klause und die Kaiserklamm als Relikte dieser Zeit.
Heute lebt der Ort vor allem von Tourismus, Forstwirtschaft und Jagd. Zu den Sehenswürdigkeiten zählen die Pfarrkirche hl. Georg, die Filialkirche Schmerzhafte Muttergottes in Aschau und die Hubertuskapelle bei der Erzherzog-Johann-Klause. Eine kulinarische Spezialität ist die Prügeltorte. Persönlichkeiten wie der Maler Ludwig Neuhauser und der Politiker Andrä Rupprechter stammen aus Brandenberg.