Holzgau liegt versteckt im Lechtal auf rund 1100 Meter Höhe, wo der Höhenbach seinen Schwemmkegel aufgeschüttet hat. Nach Süden steigen die Lechtaler Alpen steil an, während im Norden die Allgäuer Alpen mit dem Krottenkopf die Grenze zu Deutschland bilden. Der höchste Punkt im Gemeindegebiet ist die Griestaler Spitze mit über 2600 Metern. Wälder, Almen und hochalpine Flächen prägen die Landschaft, die nur zu einem kleinen Teil landwirtschaftlich genutzt wird.
Erstmals erwähnt wurde der Ort 1315 unter dem Namen Holzge, was auf die waldreiche Umgebung hinweist. Im frühen 15. Jahrhundert wurde Holzgau zur Pfarre erhoben, was auf eine gewisse Bedeutung in der Region schließen lässt. Die prächtigen Fassaden der Häuser erinnern noch heute an die früheren Handelsbeziehungen der Bewohner. Ein Heimatmuseum gewährt Einblicke in das Leben der Menschen im oberen Lechtal.
Besonders bekannt ist Holzgau für den künstlich angelegten Simms-Wasserfall, der vom Engländer Frederick Simms geschaffen wurde. Heute führt ein Klettersteig über den Wasserfall, und der Ort ist Ausgangspunkt für Wanderungen in den Allgäuer und Lechtaler Alpen. Die Hängebrücke oberhalb des Ortes war bei ihrer Eröffnung eine der längsten und höchsten Österreichs. Mehrere Persönlichkeiten stammen aus Holzgau, darunter der Theologe Heinrich Lumpert und der Skirennläufer Josef Strobl.
