社伝によれば、もとは本宮山(789m)の山頂に祀られていたという。現在も奥宮が鎮座している。大宝年間(701〜704)草鹿砥公宣〔くさかど の きんのぶ〕が神託を受けて現社地に遷座したと伝えられる。
朝廷や武家の崇敬篤く、嘉祥3年(850)に従五位下に叙せられたのを始め、貞観18年(876)には従四位上に進められている。「国内神名帳」には正一位砥鹿大明神とある。また、延喜の制では小社に列する。慶長7年(1602)徳川家康は朱印領100石を寄進し、さらに翌8年(1603)には奥宮に20石を寄せている。
摂社の二宮社は御祭神・大己貴命の御子神・事代主命を祀り、「三河えびす社」とも称して信仰を集めている。また、三宮社には同じく御子神の建御名方命を祀る。さらに末社・守見殿神社には大己貴命の和魂〔にぎみたま〕を、同じく末社・荒羽々気神社には荒魂〔あらみたま〕を祀る。
5月の例大祭は3日から5日までさまざまな行事が続く。例祭当日の4日には神輿が末社・八束穂神社まで出御する神幸祭や流鏑馬式などが行われる。