Pelm liegt eingebettet in die Vulkaneifel, wo die Kyll durch das Landschaftsschutzgebiet „Gerolstein und Umgebung“ fließt. Der Ort gehört zum Naturpark Vulkaneifel und ist Teil der Verbandsgemeinde Gerolstein. Zu Pelm zählen mehrere Wohnplätze wie die Kasselburg und das Jagdhaus Flemmingshöh. In der Nachbarschaft liegen Rockeskyll, Berlingen und Gerolstein.
Erstmals erwähnt wurde Pelm im Zusammenhang mit der Herrschaft Kasselburg, die bis ins 18. Jahrhundert bestand. Ursprünglich ein kurtrierisches Lehen, wechselte die Herrschaft über verschiedene Adelsfamilien bis sie schließlich an das Haus Arenberg fiel. Nach der französischen Besetzung zu Beginn des 19. Jahrhunderts und der anschließenden preußischen Zeit wurde Pelm Teil des neu gegründeten Landes Rheinland-Pfalz nach dem Zweiten Weltkrieg.
Bekannt ist Pelm vor allem durch die Ruine der Kasselburg, die in der Nähe liegt. Die Verkehrsanbindung erfolgt über die Bundesstraße 410 und ehemalige Bahnstrecken wie die Eifelquerbahn, die heute nur noch für Sonderfahrten genutzt wird. Der Eifel-Ardennen-Radweg führt durch den Ort und verbindet ihn mit der umgebenden Landschaft.