岡山市西部、備前国と備中国の境に立つ吉備の中山（標高175m）の
北東麓に東面して鎮座している。
吉備の中山は古来より神体山として信仰されており、北西麓には備中国一宮・吉備津神社がある。
吉備津彦神社と吉備津神社とも、当地を治めたとされる大吉備津彦命を主祭神に祀り、
命の関係一族を祀っている。

元々吉備の国にあったのは吉備津神社だったが、
吉備津彦神社はこの吉備津神社が分社して造られた神社です。

大化の改新後、この改革で法律の整備の他、地方の国の見直しが行われました。
そして吉備の国は解体され、備中、備前、備後の三地域に分割されました。
吉備の国を守っていた吉備津神社が各地域に分社され、
備中はそのまま吉備津神社、
備前には吉備津彦神社が造られました。
備後には現在の福山市に吉備津神社があります。

昔々、吉備国の鬼ノ城（岡山県総社市）に
温羅（うら）と呼ばれる鬼が住んでいました。

この温羅の支配から人々を救う為、天皇に派遣されてやって来たのが吉備津彦命です。

吉備津彦命は現在の吉備津神社に本陣を構え、温羅との戦いに挑みます。

まず、矢を射るのですが、岩に吸収されて上手くいきません。
そこで今度は2本の矢を同時に放ったところ、温羅の左目に命中した。
左目を射抜かれた温羅は血を流して戦意を失ったが、この流れた血が川となったのが、
この神社の目の前を流れる“血吸川”(砂川)である。

すると温羅はなんとキジに変身して空へと逃げます。
そこで吉備津彦命もすかさず 鷹へと化け、温羅を追いかけます。

追い詰められた温羅は、今度は鯉へと変わり川の中へと逃げますが、
吉備津彦命は、鯉の天敵である鵜（う）に身を変え、とうとう温羅を捕らえました。

この伝承は室町時代に成立したものとみられています。