称徳天皇の勅願により、常騰を開基として天平神護元年（765）に創建されました。当時は広大な寺域に多数の堂塔が建ち並び、東大寺と共に栄えていましたが、承和13年（846）以後数多の火災にあい、創建当時の建物はほとんど焼失しました。鎌倉時代に叡尊により復興されましたが、戦国時代には再び火災で焼失しました。現在残っている本堂（重文）、愛染堂（重文）、四王堂（重文）などは江戸時代中期に建てられたものです。叡尊が始めた「大茶盛」の寺としても有名です。