吉備中山の麓、備中一宮の吉備津神社から1kmほどのところに鎮座する。
御祭神・大吉備津彦命は、孝霊天皇の皇子で四道将軍の一人として遣わされ、吉備国を平定した。社伝によれば、崇神天皇の御代(B.C.97〜B.C.29)または推古天皇の御代(593〜628)、その屋敷跡に社殿を建立して祀ったことに始まるという。
とはいえ、備後の吉備津神社の由緒などを考え合わせると、大化の改新後、吉備国が備前・備中・備後に分けられてより以降に、備中の吉備津神社から分霊を迎えたものと考えるのが妥当であろう。ただし、付近には磐座や古墳があり、当地がそれ以前からの祭祀の場であった可能性は高い。
古くから朝廷の崇敬を受け、承和7年(840)には神階一品を贈られている。勅営による社殿の改修もたびたびであった。延喜式神名帳には記載されていないが(備後の吉備津神社も同様)、これは備中の吉備津神社の分社ということで同一視されていたからではないだろうか。
中世においては備前国一宮された。武門からも篤い尊崇を受け、足利氏・赤松氏や岡山藩主・池田氏などが社殿の造営や寄進を行っている。神仏習合時代には本宮・摂末社など51の堂宇を数えたという。
昭和3年(1928)国幣小社に昇格。この頃、社号を吉備津彦神社に改めたのではないかという。