Aussillon liegt im Süden Frankreichs, eingebettet zwischen den sanften Hügeln der Montagne Noire und dem Fluss Thoré, der die Gemeinde im Norden begrenzt. Westlich benachbart ist Mazamet, während Castres etwa 15 Kilometer entfernt im Südosten liegt. Die Landschaft prägt das ländliche Umfeld mit bewaldeten Anhöhen, die zum „Schwarzen Gebirge“ gehören.
Erstmals erwähnt wird der Ort in historischen Aufzeichnungen als Teil der Region um Mazamet, doch seine Entwicklung blieb lange mit der umliegenden Textilindustrie verbunden. Die Gemeinde wuchs besonders im 20. Jahrhundert, als sich die Bevölkerungszahl fast verdoppelte, bevor sie später wieder leicht zurückging. Heute ist sie Teil des Départements Tarn in der Region Okzitanien.
Aussillon zeichnet sich durch seine markante Kirche Saint André aus, die als zentrales Bauwerk gilt. Das Gemeindewappen zeigt auf goldenem Grund zwei schwarze Schrägbalken und sechs schwarze Hähne in symmetrischer Anordnung. Der Ort wird von einem Bürgermeister geleitet, der seit 1989 im Amt ist.