孝霊天皇の皇子で四道将軍に任ぜられ、吉備国を平定して吉備臣の祖となったとされる大吉備津彦命を主祭神とし、その一族を相殿に祀る。大吉備津彦命が温羅を征伐した伝承は、桃太郎のモデルだとされている。鎮座地後背の吉備中山には大吉備津彦命の御陵とされる中山茶臼山古墳がある。
神社の創建については幾つかの説がある。一説には吉備津彦命の五代の孫・加夜臣奈留美命によるといい、一説には若日子吉備津彦命の三代の孫・稲速別命・御友別命・鴨別命によるという。あるいは仁徳天皇の創建になるとも伝えられる。
大化の改新で吉備国が備前・備中・備後に分けられると、備前と備後にも当社から大吉備津彦命の分霊を勧請した。備前の吉備津彦神社と備後の吉備津神社である。
古くから朝廷・武門の篤い崇敬を受け、承和14年(847)に従四位下、仁寿2年(852)四品を受けたのをはじめ、承平・天慶の乱の後には奉賽として一品を贈られている。延喜式では名神大社に列する。寛仁元年(1017)には後一条天皇の一代一度の大奉幣に預かった。
現在の社殿は足利義満の造営になるもので、応永32年(1425)約25年の年月をかけて完成したという。吉備津造りとも称される比翼入母屋造で、国宝に指定されている。その他、南随神門・北随神門・御釜殿などが重要文化財に指定されている。
御釜殿では名高い鳴釜神事が執り行われる。これは、吉備津彦命への祈願が叶うかどうかを、釜の鳴る音で占うものである。願いが叶うほど高く鳴るとされる。
境内社の本宮・内宮・新宮・岩山宮は正宮と合わせて吉備津五社明神と称する。本宮には大吉備津彦命のご両親である大倭根子日子賦斗邇命(孝霊天皇)と大倭玖邇阿礼比売命、さらに細比売神を祀る。内宮には大吉備津彦命の妃である百田弓矢比売神と百田大兄神を祀る。新宮の祭神は吉備武彦神である。本宮・内宮・新宮は本宮社に合祀されている。また、本宮・内宮は安産・育児の霊験で知られるという。岩山宮に祀られる建日方別神は吉備国の地主神であるという。
えびす宮は昭和46年(1971)の再興。江戸時代には広く信仰を集めていたが、明治になって官社に列した際、祭祀を中絶せざるを得なくなったが、信者の熱心な懇請により再興されたという。