詩人であり医学者でもあった木下杢太郎の生家を使った記念館です。伊東に残る最古級の町家建築で、通り土間や帳場の造りがそのまま残っています。展示よりも建物の暗さと木の質感が印象に残る場所で、温泉街の散歩の途中に寄れます。