当社の祭神である藤堂高吉は、若狭の武将丹波長秀の子に生まれ、藤堂高虎の養子となり、文録・慶長の役を始め数多くの戦陣で武勲をたて名張藤堂家初代となった。寛文一〇年（一六七〇）七月一八日高吉は、当地に歿し、同年八月一五日その遺徳を敬慕し邸内に高吉を祀る一祠が建立された。社名は、高吉の法号徳蓮院殿徳翁寿栄にちなみ壽榮神社であった。降って明治一一年一般の参拝が許可され次いで大正一〇年村社となり、同一三年藤堂家邸内社であった若宮八幡宮（祭神應神天皇）を合祀した。昭和一〇年名張小学校講堂建設に伴い現社地に移転と同時に旧藤堂邸正門を移築し神門とした。同門は太鼓門の通称があり、昭和二八年県史蹟に指定された。
