平安時代の弘仁6年、四国を巡錫中のお大師さまは此の地にて温泉を発見なされ此の温泉をご覧に成ったお大師さまは「此の地は病魔から人々を救う薬師如来様と御縁の深い土地である」とおっしゃられ、万病の治癒に効果が在る此の温泉のほとりにお堂を築き、薬師如来を刻んで安置されて山号を「温泉山」寺号を「安楽寺」と名付けられられました。お大師様が我が国に温泉湯治の御利益を伝えた全国でも珍しい旧跡の様です。
其の後に天下統一を成し遂げた豊臣秀吉から天下統一や四国平定に戦功のあった蜂須賀正勝と其の嫡男、家政は秀吉から阿波の国を与えられ家政が阿波藩の藩祖と成り以来、明治維新まで蜂須賀氏が徳島を治めました。藩祖、家政の時代には阿波の国にはお遍路や旅人の為の宿泊施設が無く、家政公は宿に困る人々の為に当山を駅路寺(官寺)と定め、お遍路や旅人を保護しました。此の時以来、四百年以上の長きに渡り安楽寺は宿坊(宿泊施設)を続けて居て上の写真の茅葺屋根の建物が其の宿坊と成って居り温泉山の山号の通り温泉があり今もお遍路さんや旅人の疲れを癒して居ます。