Olsberg liegt im oberen Ruhrtal, eingebettet zwischen dem Naturpark Arnsberger Wald im Nordwesten und dem Rothaargebirge im Süden. Die Stadt wird vom Fluss Ruhr durchzogen, der hier aus dem Süden kommend nach Westen abbiegt. Umgeben ist der Ort von bewaldeten Höhen wie dem Langer Berg und dem Olsberg, während der Langenberg im Südosten mit über 800 Metern den höchsten Punkt Nordrhein-Westfalens bildet. Mehr als fünfzig Berge im Stadtgebiet erreichen Höhen von über 500 Metern.
Erste Spuren einer Besiedlung reichen bis in die vorrömische Eisenzeit zurück, etwa die Wallburg Bruchhauser Steine. Schriftlich erwähnt wurden Teile des heutigen Stadtgebiets erstmals im 11. und 12. Jahrhundert, der Ort Olsberg selbst im Jahr 1281. Prägend war die Eisenverhüttung, die seit dem Mittelalter betrieben wurde und im 17. Jahrhundert mehrere Hüttenwerke hervorbrachte. Der Dreißigjährige Krieg hinterließ tiefe Spuren, als schwedische und hessische Truppen die Region verwüsteten. Später entwickelte sich Olsberg zu einem regionalen Zentrum, das heute als Kneipp-Kurort und Heilbad anerkannt ist.
Besonders bekannt ist Olsberg für seine markanten Porphyrfelsen, die Bruchhauser Steine, die auf dem Istenberg thronen. Die Stadt gliedert sich in zwölf Ortschaften, wobei die Kernstadt aus den ehemaligen Gemeinden Bigge und Olsberg besteht und als Mittelzentrum fungiert. Ein neues Stadtzentrum entstand in den 1980er Jahren auf einer Industriebrache zwischen den alten Siedlungskernen. Die umliegenden Wälder und die klare Luft machen den Ort zu einem beliebten Ziel für Erholungssuchende.