Brandberg liegt versteckt im Zillergrund, einem Seitental des hinteren Zillertals, das vom Ziller durchflossen wird. Der Hauptort erhebt sich etwa zweihundert Meter über dem Fluss, während sich die Besiedlung auf verstreute Höfe und Weiler verteilt. Die Südlage sorgt für lange Sonneneinstrahlung, und die höchsten Gehöfte erreichen rund 1300 Meter Höhe. Der Brandberger Kolm mit 2700 Metern ist ein markanter Nachbarberg.
Erstmals taucht der Name 1350 in Urkunden auf, abgeleitet von Brombeersträuchern. Schon im 12. Jahrhundert rodete der Salzburger Erzbischof das Gebiet und gründete fünf Viehhöfe, die Naturalabgaben leisteten. Mayrhofen gehörte einst zu Brandberg als Steuerbezirk, bis die Gemeinde 1801 eigenständig wurde. 1837 verließen viele Bewohner ihre Heimat, darunter fast ein Drittel der Brandberger, die nach Niederschlesien auswanderten.
Heute prägen Landwirtschaft, sanfter Tourismus und Wasserkraft das Bild. Die Pfarrkirche zum Heiligen Kreuz und die Ortskapelle Maria Schnee stehen für die religiöse Tradition. Zwei Schutzhütten, das Kolmhaus und die Plauener Hütte, bieten Wanderern Unterkunft. Ein Tunnel verbindet Brandberg mit Mayrhofen, während die Zillertalbahn am Talende endet. Der Kameramann Hans Schneeberger stammt aus dem Ort.