現在の東京の都心地域を支配した有力者の中で大胡氏は影が薄い。その大胡氏の拠点が本節の区域である。
 長く勢力を誇った豊島氏を滅ぼした太田道灌が1486年に暗殺されて北条早雲・氏康が勢力を拡大する50年余り後までこの地域は上杉、里見、千葉等の係累が小さな区域ごとに小競り合いををしていた。
 北条氏の勢力拡大により、その配下の有力者の中からこの地域を巻かされたのが上野国(群馬県)赤城に拠点を持っていた大胡氏である。大胡氏の支配区域は、北は浅草、東は葛西、南は日比谷、西は牛込であった。小田原と故郷に近い牛込(済松寺を含む区域)に居館を構え、故郷から赤城神社を勧請し、宗参寺を菩提寺とした。また、自らも大胡を牛込に名乗り変えていた。
 1590年に北条氏が秀吉に滅ぼされ、牛込氏は大胡姓に戻って家康の臣下となる道を選んだ。