Lastours liegt versteckt in den sanften Hügeln der Montagne Noire, wo der Orbiel seine Schleifen zieht. Der Ort gehört zum Cabardès, einer Landschaft zwischen Carcassonne und dem Minervois, wo Orte wie Minerve oder Rieux-Minervois die Nachbarschaft prägen. Vier mittelalterliche Burgen thronen auf einem Bergsporn über dem Tal, erreichbar nach einem kurzen Aufstieg durch bewaldete Hänge.
Der Name des Ortes wechselte mehrfach: Zuerst hieß er Cabaret nach der einflussreichen Adelsfamilie, die hier im Mittelalter herrschte und die Albigenserbewegung förderte. Doch der Albigenserkreuzzug beendete diese Ära, als der letzte Burgherr seinen Besitz kampflos abtrat. Später prägten Bergbau und Tuchweberei das Leben, bis die Reblaus und technische Neuerungen die Bevölkerung schrumpfen ließen.
Heute zieht die Gruppe der vier Burgen Besucher an, darunter die im 12. Jahrhundert erbauten Ruinen der Cabarets und die später errichtete Königsburg. Unter den Burgen wurden bei Ausgrabungen Spuren einer alten Siedlung freigelegt, die von einer dramatischen Vertreibung zeugt. Ein weiteres Juwel ist das abgelegene Château de la Caunette, ein Relikt aus dem 16. Jahrhundert, das einst einem Minenbesitzer gehörte.