韮山代官を代々務めた江川家の屋敷で、主屋は国の重要文化財。土間に立って見上げる小屋組みは釘を使わない複雑な構造で、天井のない空間の広がりに声が響く。反射炉を築いた江川英龍にまつわる史料も展示され、幕末の伊豆を知る入口になる。