Broumov liegt im Nordosten Böhmens am Fuße des Gebirgszugs Sudeten, nahe der polnischen Grenze. Die Stadt befindet sich etwa 23 Kilometer nordöstlich von Náchod und 56 Kilometer nordöstlich von Hradec Králové. Im Westen grenzt das Gemeindegebiet an Křinice und Hejtmánkovice, im Osten an Šonov, während im Norden Polen liegt.
Die Geschichte Broumovs ist eng mit dem gleichnamigen Benediktinerkloster verbunden, das 1213 gegründet wurde, als König Ottokar I. von Böhmen den Mönchen aus Břevnov Land überließ. Um 1255 entstand die Siedlung, die sich vor allem durch den Tuchhandel entwickelte. Im 14. Jahrhundert erhielt die Stadt eine Stadtmauer, doch im 15. Jahrhundert schloss sie sich den Hussiten an, bevor sie später zum Zentrum der Gegenreformation unter den Habsburgern wurde. Nach dem Dreißigjährigen Krieg wurde das Kloster im barocken Stil wiederaufgebaut, doch im 18. Jahrhundert erlitt die Stadt erneut Plünderungen während der Schlesischen Kriege.
Broumovs architektonisches Erbe umfasst mehrere Kirchen, darunter die Benediktinerkirche St. Wojciech und die Kirche St. Peter und Paul. Die Stadt ist zudem für ihre Verbindung zu bedeutenden Persönlichkeiten bekannt, wie dem Schriftsteller Alois Jirásek, der hier zur Schule ging. Ein kurioses Detail ist die Verwechslung des Namens Broumov mit Braunau am Inn durch den späteren deutschen Reichspräsidenten Paul von Hindenburg.