この寺にはいくつも言い伝えがあり、図会も引用している。
 @ 浅草寺の住職の一人の寂海法印は天台宗だったが、教学論争の結果日蓮に服して浅草寺を出て小さな庵に移り、下総中山の日常上人のもとに通って修行し、日寂と名乗った。
 A 庵を寺にして間もなく隅田川の水害に遭ったが、鐘ヶ淵の深淵から打ち上げられた鐘を寄進され、現在地に寺を作り直した。その際現在も残っている宗論芝を作って日蓮宗への帰依を明らかにした。
 B 江戸初期、浅草寺の本尊の観音は質草になって流れた。開祖日寂の縁から長昌寺が引き取って御開帳のときだけ浅草寺に貸していた。
 寺の言い伝えには信徒拡大のための話題づくりもあるので、すべてが真実とは言えない。銘の無かたりあっても寺の歴史と矛盾する釣鐘にとって「鐘ヶ渕」は格好の名と場所であったようで、図会だけでもここまで4つの寺に登場している。
 Bに関しては、現在も長昌寺には浅草寺の本尊と同じ寸法の観音像がある。