江戸時代以前は伊豆山権現あるいは走湯権現と称されていた。箱根権現と合わせて二所権現とも称された。
社伝によれば、孝昭天皇の御代に創建されたとされる。最初は日金山(久良地山)に鎮座していたが、その後、本宮山(現在、摂社の本宮神社が鎮座している)、さらに現社地に遷座したと伝えられる。
延喜式内社の火牟須比命神社に比定されているが、摂社の雷電神社を当てる説と本社を当てる説がある。
仁徳天皇・清寧天皇・推古天皇・孝徳天皇・後奈良天皇の勅願所とされたといい、後奈良天皇が奉納された御宸筆の紺地金泥般若心経は重要文化財に指定されている。
伊豆に配流されていた源頼朝は当社に源家再興を祈願。鎌倉幕府を開いて後は箱根権現とともに二所権現として篤く崇敬し、関八州の鎮護とした。鎌倉時代を通じて、歴代将軍による二所詣が恒例とされていた。さらに関東各地に多くの社領を有していたという。
戦国時代は小田原北条氏の尊崇を受け、庇護を受けていたことから、豊臣秀吉の小田原征伐に際して全山焼き討ちに遭った。その後、徳川家康により再建復興され、文禄3年(1594)には社領200石を寄進、さらに慶長年間に100石を寄せられ、計300石の朱印領を有した。
明治初年、神仏分離により社号を伊豆山神社と改め、明治6年(1873)県社に列格、昭和3年(1928)国幣小社に昇格した。
本社からさらに参道を登ると、末社の白山神社が鎮座している。また、参道を海岸まで下りると走湯権現の名の由来となった走り湯があり、摂社の走湯神社が鎮座している。走り湯は全国でも珍しい横穴式源泉で、湧き出した湯が海岸に走り落ちる様から名付けられたという。