Selsey liegt auf der Manhood-Halbinsel im Süden von Sussex, wo das Land fast zur Insel wird. Die Halbinsel ragt ins Meer hinein und endet im Süden am Selsey Bill, wo steile Felsen wie die Owers und Mixon aus dem Wasser ragen. Im Norden begrenzt der Fluss Broad Rife das Gebiet, im Osten das Pagham Harbour, im Westen die Bracklesham Bay. Die Gezeiten und die Erosion fordern der Stadt seit jeher ihren Tribut.
Schon in der Steinzeit lebten hier Menschen, später prägten die Römer die Gegend als Umschlagplatz für Waren. Im 7. Jahrhundert kam der Missionar Wilfrid nach Selsey und gründete ein Kloster, das zum religiösen Zentrum wurde. Bis ins 11. Jahrhundert blieb Selsey Bischofssitz, bevor der Sitz nach Chichester verlegt wurde. Im Mittelalter war die Stadt vor allem durch Handel und Schmuggel bekannt, besonders im 18. Jahrhundert florierte das illegale Geschäft mit Wolle und anderen Gütern.
Heute ist Selsey ein beliebter Badeort mit einer langen Tradition als Seefahrerstadt. Die Eisenbahnverbindung nach Chichester, einst als „Selsey-Schnecke“ verspottet, brachte zwar wenig Komfort, aber doch Besucher in die Stadt. Die Küste mit ihren markanten Felsen und dem Leuchtturm am Selsey Bill zieht Touristen an, während die Geschichte des Schmuggels noch immer in lokalen Erzählungen nachhallt.
