社伝によれば、神武天皇東征の際、金山彦命が金鵄を輔けて霊験を顕したことから府中(垂井町府中)の地に奉斎されたことに始まるとされる。
崇神天皇5年(B.C>93)仲山(南宮山)山麓の現社地に遷座した。延喜式神名帳などには「仲山金山彦神社」と記されているが、後世、国府の南に鎮座することから「南宮」と称されるようになったという。
古くより朝廷・武門の崇敬篤く、天平神護元年(765)には神封1戸が寄せられ、承和13年(846)には正五位下に叙せられた。貞観15年(870)には正二位に進められた。延喜の制では名神大社に列する。天慶3年(940)朝敵退散の勅祷により勲一等を受け、南宮十坊が設置された。康平年間(1085〜65)には安倍貞任・宗任追討の神験により正一位に極位する。中世においては美濃国一宮とされ、源氏・北条氏・土岐氏などの崇敬を受けた。
慶長5年(1600)関ヶ原の戦いの兵火により社殿・宝物・文書等を焼失する。その後、南宮権現執行・利生院永純や西美濃に縁深い春日局などの願いを聞き入れ、寛永19年(1642)徳川家光によって社殿が再興され、朱印領405石が寄せられた。和様と唐様が混在した独特の様式で、「南宮造り」と称される。この時の造営については624冊の造営文書が残されており、社殿等18棟とともに重要文化財に指定されている。
明治の神仏分離により、境内の寺院を南宮十坊の一・真禅院に統合し、三重塔・本地堂などの仏殿を移築した。明治4年(1871)国幣中社に列格、大正14年(1925)国幣大社に昇格した。戦後、南宮大社と改称する。