小布施の豪商で文人でもあった高井鴻山の屋敷を公開している記念館です。晩年の葛飾北斎を小布施に招いた人物で、北斎のために建てた書斎「碧漪軒」が残ります。鴻山自身が描いた妖怪画も展示され、北斎館と合わせて小布施歩きの核になります。