摂関家将軍が続いた後、皇族として鎌倉に始めて下った鎌倉幕府第６代将軍、宗尊親王（1242-1274）に従ってきた者の中に藤原重房がいました。重房はこのとき丹後の上杉庄を拝領し上杉姓を名乗るようになりました。

重房の曾孫にあたる憲顕が鎌倉管領、足利基氏の執事となったことから大きな勢力をもつようになります。一族は数門に分かれ、重房から５代目にあたる上杉顕定が扇ガ谷上杉家の祖となりました。

顕定から７代目の定正は家臣であった太田道灌を起用し川越城や江戸城を築かせ勢力を拡大しました。太田道灌は線路を挟んで向かい側、現在の英勝寺がある地に屋敷を構えていました。

山ノ内上杉、扇ガ谷上杉は両管領と呼ばれるほど繁栄しました。その扇ガ谷上杉家の屋敷があった場所がここです。