『新編相模国風土記稿』の山下村の項に、「山下長者宅蹟西南方にあり。広さ四反許、村民の宅地となる。南西北の三方に土手（高さ八尺許）跡あり、形ばかりを成す。長者の事蹟詳ならず」とあります。
この遺構は、山下長者屋敷といわれ、多くの伝説を秘めています。その一つとして、富士裾野で父の仇工藤祐経を討った曽我兄弟の兄、十郎祐成を助けた虎御前は、この館で誕生したといわれています。