一条天皇の正暦2年（991年）、弘法大師より八代目の弟子にあたる仁海僧正がこの地を賜り一寺を建立したことに始まります。僧正が牛の皮に両界曼荼羅の尊像を画き本尊にしたことに因み、古くは牛皮山曼荼羅寺と称されました。その後、第五世・増俊阿闍梨の時に曼荼羅寺の子房として隨心院を建立し、ついで第七世・親厳大僧正が、寛喜元年（1229年）後堀河天皇より門跡の宣旨を賜り、以来、隨心院門跡と称されます。隨心院は小野小町が晩年を過ごした地とされ、千通の恋文を埋めたという文塚やその恋文を貼り付けて供養したと伝わる小町文張地蔵が残ります。