直布羅陀最顯著的地標就是「直布羅陀巨岩」，是巨型石灰岩山，高四百六十二公尺，呈長三角形，上面尖下面寬。

直布羅陀巨岩被認為是兩個「海克力斯之柱」之一，另一柱在北非，一說是位在休達的雅科山，另一說位於摩洛哥境內的摩西山。古代受腓尼基傳說的影響，這兩支柱被認為是已知世界的極限。海克力斯是古希臘神話中的大力士。

直布羅陀巨岩內部有超過一百個洞穴，形成迷宮隧道，是旅遊熱點，每年吸引不少遊客到訪。位於巨岩西麓的「聖麥可岩洞」最著名，也是重要旅遊景點之一。

巨岩東壁的戈咸岩洞，發現有三萬年前尼安德塔人的遺址。而洞穴及附近發現不少不同類型的動植物化石資料，顯示尼安德塔人的雜食程度。

直布羅陀面積小，巨岩又佔據大半土地，住宅主要建於山腰至山腳平地，和部份填海得來的土地。山路多彎狹小，甚至要穿過低矮的山洞；這些山洞不是人工隧道，而是天然的，沒有修飾，洞頂與洞壁仍是嶙峋岩石，僅容一輛車駛過。