天平11年（739年）、讃留霊王（さるれおう）が退治したという悪魚の菩提のため、行基が坂田郷室山の紫雲山麓に創建したと伝わる。その後空海が修造し、勅願所かつ真言伝法の七談義所（僧徒学門所のこと）のひとつとした。
真言宗の僧侶・観賢が付近で生まれ、僧正にまでなった。観賢は宇多天皇に奏上して寺を祈願所とし、それ以降醍醐・朱雀・村上・白河・後嵯峨・亀山・後花園など各天皇の祈願所となった。
山号はもともと紫雲山であったが、観賢の13回忌に朱雀天皇より勅使が派遣され紫衣を賜ったことから、紫山と改められた。
天文年間（1532年 - 1555年）、戦火に遭って焼失したため、野原荘北端の八輪島（現・玉藻公園）に移転した。しかし、天正16年（1588年）の生駒親正による高松城築城の際に現在の高松駅北西・浜ノ町付近へ移転した。
寛永19年、それまで独立した寺院であったが、仁和寺の末寺となった。明暦元年には藩の船蔵を造ることになり、仁和寺宮・承法法親王の意向で藩主から浄願寺の南（天神前）に寺地を与えられた。その後、さらにその地に藩の長屋を建てることになり、当時禁教とされていた日蓮宗不受不施派の寺院・大乗寺跡地（現在地）へ移転した。
明治12年（1879年）から大正5（1916年）には高野山出張所として、付近の多門寺・西福寺など6ヶ寺を末寺とした。
この頃数多くの寺宝を所有していたが、昭和20年（1945年）の高松空襲によりすべて焼失してしまった。
現本堂は昭和22年（1947年）に再建されたもの。
