江戸時代以前は高賀茂大社・高賀茂大明神として知られたが、明治４年（1871）現在の社号に改めた。また、俗に志那禰〔しなね〕様と呼ばれるが、その意味はわかっていない。
創建については不詳だが、古くは境内の「礫石〔つぶていし〕」を磐座〔いわくら〕として祭祀を執り行っていたと考えられ、その起源は古代にさかのぼるだろうという。『日本書紀』天武天皇４年（675）３月２日条には「土左大神〔とさのおおかみ〕が神刀を以て天皇に進る」という記事がある。
御祭神については、『土佐国風土記』逸文に一言主尊とするが、一説に味鋤高彦根尊ともいうとある。どちらの神も大和国の賀茂氏が奉斎していた神であり、その一族が土佐国造に任じられたことから祀られるようになったのであろうという。現在では両神を祭神としている。
社伝によれば、雄略天皇４年（460）、御祭神・高賀茂神は天皇の怒りに触れ、土佐国に流された（典拠は『続日本紀』）。当初、高岡郡浦の内（須崎市の鳴無神社〔おとなしじんじゃ〕とされる）に鎮座されたが、ある時、「この地は神慮に適わず」として石を取り、「この石が落ちたところに宮を建てよ」と託宣した。そのとき投げた石が「礫石」であり、これが落ちた現在の地を社地とすることになったという。
この由緒により、往古は例祭の志那禰祭に鳴無神社まで船遊の神幸があった。しかしある年、嵐を避けて磯伝いに神輿を渡御していたところ、狼の大群が現れて供奉の神人が危険にさらされたため、鳴無神社までの神幸を取りやめ、五台山の麓の小一宮までの渡御となり、さらに近世には楼門までとなったという。
古くより朝廷・武門の崇敬篤く、延喜の制では都佐坐神社として大社に列した。また天慶３年（940）には、承平５年（935）の藤原純友の乱鎮定の祈祷の功により正一位に極位した。
中世以降は土佐国一宮として尊崇され、別当の神宮寺・善楽寺と一体の神仏習合の霊場として栄えた。また、四国八十八ヶ所の第30番札所ともされていた
現在の社殿は元亀元年（1570）に長宗我部元親が再建したもので、重要文化財に指定されている。本殿は向拝のついた入母屋造。上から見ると幣殿・拝殿・左右の翼・長い拝の出が十字型になった入蜻蛉造〔いりとんぼづくり〕という珍しい様式である。幣殿をトンボの頭、拝殿を胴体、拝の出を尾、左右の翼を羽として、本殿にトンボが飛び込む姿に見立てるもので、凱旋を報告する社の意味があるという。
因みに、高知市長浜の若宮八幡宮は出陣先勝祈願の社で、本殿から蜻蛉が飛び出す姿に見立てた出蜻蛉造〔でとんぼづくり〕となっている。
