Ellmau liegt im Tiroler Unterland, eingebettet zwischen dem Wilden Kaiser und dem Hartkaiser auf etwa 820 Metern Höhe. Das Siedlungsgebiet breitet sich über den Ellmauer Sattel aus, der die Wasserscheide zwischen Inn und Großache bildet. Rund 17 Kilometer entfernt befindet sich die Autobahnausfahrt Kufstein-Süd.
Erstmals erwähnt wurde der Ort zwischen 1153 und 1156 in einer Urkunde des Klosters Herrenchiemsee, wo er als „Elmǒwe“ – Ulmenaue – bezeichnet wurde. Im Mittelalter diente Ellmau als Handelsstation auf der Route zwischen Salzburg und Innsbruck, wovon eine Poststation zeugt, die bis ins 20. Jahrhundert von der Familie Kaisermann betrieben wurde. Die heutige Gemeinde entstand im 19. Jahrhundert aus der Zusammenlegung dreier historischer Viertel.
Heute ist Ellmau vor allem als Tourismusort bekannt, der zum Skigebiet Skiwelt Wilder Kaiser Brixental gehört. Die Pfarrkirche St. Michael, ein barocker Bau aus dem 18. Jahrhundert, prägt das Ortsbild. Die Fernsehserie „Der Bergdoktor“ machte den Ort überregional bekannt, und regelmäßige Musikveranstaltungen wie der Musikherbst am Wildenkaiser ziehen Gäste an.