丹後半島に向かう途中にあるのが大江山。酒呑童子の鬼退治で有名な山であるから、それに因んだお店がいっぱいある。酒呑童子の一味による被害があまりにも大きく、源頼光が鬼退治に行くこととなり、配下の頼光四天王(渡辺綱・坂田金時・碓井貞光・卜部季武)や友人の藤原保昌ら、総勢五十数名とともに大江山に向かった。山伏の姿になった一行はさまざまな人々の助けを得ながら、一晩の宿を求める振りをして酒呑童子の本拠にはいることに成功した。その晩は酒盛り上がり、深夜、酔って動かなくなった酒呑童子の一味の鬼たちを頼光らは残らず退治した。ただし、茨木童子(酒呑童子の一番の家来)のみは渡辺綱と戦っていたところ、酒呑童子の討たれるのを見てこれはかなわないと退却し、唯一逃げるのに成功したという。
源頼光は時の権力者・藤原道長966-1028の重臣で源氏の棟梁である。源頼光948-1021の父は鎮守府将軍源満仲、母は嵯峨源氏の近江守源俊娘で、妻には伊予守藤原元平娘などがいる。子には頼国、頼家、頼基、永寿、頼昭などがあり、満仲の長子として清和源氏の三代目を相続して摂津国多田源氏を束ね、その子孫は「摂津源氏」と呼ばれる。異母弟には大和源氏の源頼親、後に武家源氏の主流となる河内源氏の源頼信がいる。同時代の中級貴族と同じく、20前後で出仕し、満仲と同じく摂関政治を行っていた藤原氏に臣従して官職を得て、財力を蓄えていたと考えられて、986年頃、居貞親王(三条天皇)が皇太子となった際に東宮権大進に任じられる。東宮大進時代には朝廷の儀礼や典礼関係の年中行事に記録が見られ、藤原道長の主催した競馬などに参加している。同時期には、大江匡衡が隣国の尾張守となり、両者は赴任するにあたって書状を交わしており、また、匡衡妻の赤染衛門は頼光を詠んだ和歌を残しているなど親交があったと思われる。左馬権頭となって正四位下になり、後一条天皇の即位に際して昇殿を許された後は、受領として蓄えた財により一条邸を持ち、たびたび道長に多大な進物をしてこれに尽くした。 道長の権勢の発展につれて、その側近である頼光も武門の名将「朝家の守護」と呼ばれるようになり、弟の頼信と共に後の源氏の興隆の礎を築く。