家康は江戸の西の守りを高遠藩内藤家に任せ、甲州街道からこの辺に及ぶ土地を与えた。しかし戦の無い時代が2世代以上続くと、高遠藩でなくとも侍の質と量を維持することの緊張感は低下した。とくに江戸詰は誘惑も多かったことは想像に難くない。
 膨大な郊外の土地を持て余していた高遠藩は、下級武士の一時帰農を進めたが、長期に及ぶに従い専業農家化が進んだ。
 その農家の一部が庭園樹の生産を始め、中でもツツジが地域の主産物となった。
 なお地名の百人町は、高藤藩の鉄砲百人組が置かれたことに由来している。