『 網引きする海女とか見らむ飽の浦の
清き荒磯を見に来しわれを』と
飽浦の地は、『万葉集』巻７に詠まれている。
時は平安時代末期、源平合戦の代、京を追われた平家は、児島の藤戸（現在の倉敷市藤戸町）に陣をはった。源氏方は対岸に陣をはったが、船が揃わなかった為に、平家を攻めあぐねていた。
しかし、源氏方の武将 佐々木 三郎盛綱は、一ケ所だけ馬で対岸まで渡ることができるという 海の道 が在ることを、近くの漁師より教わった。そのお陰で彼等は先陣をきって馬で対岸へ渡り、 源氏方に大勝利を納めるきっかけをつくった。（平家物語「藤戸の渡し」の段，この後 檀ノ浦 の合戦に至る。）
後に、佐々木三郎盛綱は、その戦功として、将軍 源 頼朝から、児島全土と小豆島一帯に及ぶ広範囲な領地を賜わった。 以後、佐々木氏一族は、飽浦の地に居城（現在の高山城跡）を築き、地名にちなんで、氏名も『飽浦 三郎』と名乗った。
この土豪、飽浦氏一族の守護神として奉斎した神が、素盞嗚神社に鎮座されている素盞嗚尊である。
また、稲荷宮は、この後鎌倉時代末期の建武年間に、飽浦三郎の子孫である 飽浦三郎右衛門信胤が深く信仰した、山城国伏見（現在の京都市伏見区の伏見稲荷大社）から御霊を勧請し、飽浦の地に建立したと伝えられている。
江戸中期から栄え、城下からも参詣者が多く訪れたという。江戸時代後期には、城下の東中島町で問屋業を営む商人が、商売繁盛を祈願して奉納した回船の絵馬が、往時を物語っている。
江戸時代の書物『備陽記』によれば、『岡山京橋まで陸路十里、同じく船路二里八町、反別２２町余り、家数４９人数２７６、二端帆から三端帆までの船２、池９。神社は素盞嗚神社・稲荷神社があり、両社は同一境内にあり、本殿は別だが拝殿は両社共通の特異な建て方である。』と言う記述があり、この頃より現在のような建築様式であったとうかがえる。
