柳生藩の財政を立て直した家老・小山田主鈴の屋敷を公開している施設。作家の山岡荘八が一時所有し、ここで柳生一族の物語を構想したと伝わる。石垣に囲まれた敷地と質素な座敷から、剣の里の武家の暮らしぶりが伝わってくる。