奈良時代の天平勝宝元年に孝謙天皇の勅命で報恩大師によって山地の日差山に創建された日差寺の山内寺院満願坊として天平勝宝6年に報恩大師の開基、弟子心浄大師の開山によって創建され、仁王門、観音堂、薬師堂、毘沙門堂、鐘楼、鎮守社があったそうです
当時は山内に興聖坊、多聞坊、玉蔵坊、浄土坊、曼荼羅坊、満願坊、井上坊、蔵福坊、見松坊、成福坊、持宝坊、吉祥坊、宝厳坊、宝蔵坊、石橋坊、大蔵坊、実相坊、山麓に神皇坊、円光坊、百々坊、槙山坊、受法坊があったそうです
戦国時代の天正10年の備中高松城水攻めの際に小早川隆景の陣所となったことから日差寺12ヶ寺は荒廃し霊福寺、寶性寺との3ヶ寺となり、江戸時代の寛永年間に霊福寺、寶性寺は移転し寶泉寺だけが残ったそうです
慶長年間に火災で本堂が焼失し、延宝2年に宥泉法印によって現在地に移転中興されたそうです