図会は、芭蕉の最後の拠点となった芭蕉庵について、芭蕉が関係者に送った「芭蕉を移す辞」(没前3年。下記)を紹介している。そして雪旦が描いたのはこの手紙から類推されるイメージで、これより古い芭蕉庵の絵は無く、他も同様かこの絵を参考にして描いている。
 関口の分水工事にかかわって其近くに住んだ後、芭蕉の江戸住まいの世話は大部分を深川に住む杉風(弟子)がした。実家が魚屋であった杉風は裕福ではなかったので、魚の生簀脇の蔵(番小屋?材料置き場?)をまず芭蕉に提供した。
 2年あまり後八百屋お七が最初に焼け出された大火で焼失し、弟子たちが寄付を募って森田惣左衛門屋敷の一角(従前に近い別のところという説のほか生簀脇の場所が森田屋敷になったという説もある)を 借りて小さな住まいを作ったのは翌年の八百屋お七の放火の大火の後である。ここを拠点としていた時期は5年半あり、その間に奥の細道の旅より長期の野ざらし紀行の旅をしたり、「古池や・・・・・」の句を発表したりした。
 奥の細道の旅へ出る一月前に森田屋敷を引き払って杉風の家で出立の準備をし、出掛けたが野ざらし紀行などでは見せなかった「遠き旅寝の芭蕉のなごり」(下の手紙参照)が生じたのは48歳で十分に枯れて老境の心境にあったせいだろうか。 これを伝えられた杉風以下が再び拠点確保に奔走したがうまくいかず、故郷大垣で6ヶ月弱の旅を締めくくってから2年あまり大坂を含めて転々とした後に、結局元の生簀脇の土地に庵を設けることになった。
 その際にこの「芭蕉を移す辞」が書かれたのである。
 菊は東籬にさかえ、竹は北窓の君となる。牡丹は紅白の是非ありて世塵にけがさる。荷葉は平地にたへず、水清からざれば花咲かず。
いづれの年にや、栖を此境にうつす時、芭蕉一もとを植う。風土芭蕉の心にやかなひけん、数株茎をそなへ、その葉繁りかさなりて庭をせばめ、 萱が軒端もかくるばかりなり。人呼んで草庵の名とす。旧友門人ともに愛して、芽をわかちて所々におくる事年々になんなりぬ。
 一とせみちのくの行脚おもひ立ちて、芭蕉庵をすでに破れんとすれば、かれは籬の隣に地をかへて、あたり近き人に霜の覆ひ、風のかこひなど かへすがへす頼み置きて、はかなき筆のすさみにも書き残し、松はひとりになりぬべきにやと遠き旅寝の胸にたまり、人々の別れ、芭蕉のなごり ひとかたならぬ侘しさも、終に三年の春秋を過して再び芭蕉に涙をそそぐ。
 今年五月の半花橘のにほひもさすがに遠からざれば、人々の契りも昔にかはらず、猶此あたりえたちさらで、旧き庵もやゝちかう、三間の茅屋つきづきしう、 杉の柱いと清しげに削りなし、竹の枝折戸やすらかに、芦垣あつうしわたし、南に向ひ池に臨んで水楼となす。地は富士に対して柴門景をすゝめてなゝめなり。 淅江の潮三股の淀にたゝへて、月を見るたよりよろしければ、初月の夕より、雲をいとひ、雨をくるしむ、明月のよそほひにとて、まづ芭蕉をうつす。
 其葉ひろくして琴をおほふにたれり。或はなかば吹折れて鳳鳥の尾を痛ましめ、青扇やぶれて風を悲しむ。たまたま花やかならず。茎太けれども斧にあたらず。 かの山中不材の類木にたぐへて、その性よし。僧懐素は是に筆をはしらしめ、張横渠は新葉を見て修学の力とせしとなり。予そのふたつをとらず、 たゞこのかげに遊びて風雨に破れやすきを愛す。
 芭蕉没後優に100年を経過していた図会では、芭蕉庵旧址は「松平遠州侯」の屋敷内とあるが、当時摂州尼崎藩に封じられていた松平遠江守の深川屋敷は東西に広かった。 形今なほ存せりといふという図会の記述も、現場を確認して書いたものでなく、説得力も小さい。
 明治維新の頃この辺は長州藩が使っていたようだが、その後一般市街地になって関東大震災を迎えた。震災後の復興工事で、石の蛙が掘り出され、その場所が稲荷神社の近くだったので、 稲荷神社を移して芭蕉庵旧地として保存できるようになった。
 掘り出された石の蛙をどうやって芭蕉が好んで置いていたというものと鑑定したかは明らかでないが、記念館に保管されている。