Kowary liegt am Nordrand des Riesengebirges, wo sich der Landeshuter Kamm und das Gebirge selbst treffen. Die Stadt wird vom Fluss Jedlica durchzogen, der in die Große Lomnitz mündet. Jelenia Góra ist etwa vierzehn Kilometer entfernt, während Breslau rund dreiundneunzig Kilometer nordöstlich liegt.
Erstmals taucht der Ort 1355 in einer Urkunde auf, als deutsche Siedler den Grenzwald rodeten. Doch schon lange vorher wurde hier Eisenerz abgebaut, das bereits 1148 gefunden und fünf Jahre später auf Anordnung des polnischen Herzogs gefördert wurde. Im 16. Jahrhundert blühte die Eisenverarbeitung, besonders die Herstellung von Feuerwaffen. Nach Zerstörungen im Dreißigjährigen Krieg verlagerte sich die Wirtschaft auf das Weberhandwerk. Nach dem Krieg fiel der Ort an Preußen und blieb bis 1945 mit dem Landkreis Hirschberg verbunden.
Die Stadt bewahrt eine spätgotische Pfarrkirche und ein klassizistisches Rathaus, das von einem bekannten Baumeister entworfen wurde. Ein frühromantisches Schloss, eine barocke Brücke mit einer Heiligenstatue und ein Miniaturpark mit schlesischen Bauwerken prägen das Bild. Früher prägten Textilfabriken und Bergbau das Leben, heute ist der Tourismus der wichtigste Wirtschaftszweig. Berühmte Persönlichkeiten wie ein preußischer General oder ein Maler stammen von hier, und Rübezahl-Sagen ranken sich um den Ort.