創建年代は不詳。境内からは銅鐸が出土しており、その創祀はかなり古いものと考えられる。
文献上では『続日本紀』承和8年(841)2月8日条に「備前国邑久郡安仁神預名神焉(備前国邑久郡の安仁神、名神に預かる)」とあるのが初見で、延喜の制では備前国唯一の名神大社に列する。
御祭神については、天照大神・秋篠安仁卿・安倍朝臣安人霊・地主神・阿田賀田須命・兄彦命・和邇氏・五十狭芹彦命・阿智使主など古来諸説あったが、現在では五瀬命を主祭神とし、稲氷命・御毛沼命を配祀するとしている。三柱はいずれも神武天皇の兄君である。
五瀬命は若御毛沼命(後の神武天皇)とともに大和へ東征する途中、当地に数年間滞在された。この時、稲作や機織りなどを大いに奨励されたという。その後、河内国孔舎衛坂)で受けた傷がもとで紀伊国竃山で薨去された。神武天皇が即位された後、当地に五瀬命を祀り、兄神社あるいは久方宮と称したという。
社地は宮城山(別名・鶴山)にあり、往古はその頂上にあったというが、備前藩主・池田家が祈願所として現在の地に遷座した。池田家の崇敬篤く、社殿の造営、社領の寄進が行われたという。明治4年(1871)国幣中社に列格。