Jilemnice liegt eingebettet im Riesengebirge, wo die Jizerka durch den Ort fließt und im Ortsteil Hrabacov der Jilemka in sie mündet. Umgeben von sanften Hügeln wie dem Kozinec im Westen oder dem Branský kopec im Osten prägt eine hügelige Landschaft das Bild. Die Stadt ist von Wäldern und Bergen umgeben, die ihr einen malerischen Rahmen geben.
Erstmals taucht der Ort im 14. Jahrhundert als Besitz der Familie Waldstein auf, die ihn über ein Jahrhundert lang hielt. Nach einem Besitzerwechsel im 16. Jahrhundert und der Zerstörung während des Dreißigjährigen Kriegs wurde Jilemnice 1701 von Ferdinand Bonaventura Graf von Harrach erworben. Im 19. Jahrhundert entwickelte sich der Ort durch Textil- und Glasindustrie, bevor er sich im 20. Jahrhundert zu einem bekannten Wintersportzentrum wandelte.
Heute prägen historische Gebäude das Stadtbild, darunter das barocke Gotteshaus und das Schloss mit seiner Kapelle. Das Riesengebirgs-Museum und das Neugierige Gässchen mit seinen alten Häusern zeugen von der Vergangenheit. Berühmt ist Jilemnice auch für seine Wintersportler, darunter mehrere Olympioniken und Weltmeister in Biathlon, Skilanglauf und Nordischer Kombination.