昭和5（1930）年12月、新赤倉温泉事務所長で塾員の小川雄逸から大学医学部の三四会に対し同温泉の土地1,500坪（温泉2口付）の寄付の申し出があった。三四会はこの土地に木造2階建て延べ85坪の赤倉山荘を約8千円をもって建設し、経常費は三四会が負担する約束で、7年1月義塾に寄付した。夏は避暑、登山、テニスなど、冬はスキーなどに利用され、医学部学生の「番頭」による自主管理の場所でもあった。また同山荘では開荘の翌8年に、三四会の提案を受けて、幼稚舎と医学部予防医学教室との共催で小児科・食養部の協力も得て、幼稚舎6年生を対象に10日間夏期林間学校が実施された。以来13年まで、戦後も23年から25年まで、幼稚舎の夏期林間学校にも利用された。ところが建物は35年1月6日、失火により消失、土地は53年5月、近接の白田切川の自然土砂流による災害を受けた。57年7月に整地、区画整理、道路整備が行われ水道、都市ガス、温泉などが復旧、堤防や河川改修工事も完了し建築許可が下りた。三四会長武見太郎は、会員よりの募金を開始して再建を図ったが、大学紛争により中断した。61年より具体的検討を再開し、平成4（1992）年6月には再建計画案が完成、前回の募金に加え三四会員の新たな募金などにより6年11月に竣工、12月21日開荘した。

敷地面積は5,017㎡。温泉2口。建物木造二階建て、延べ面積695㎡、42名収容。除雪対策として棟に雪切り、軒先に融雪用ヒートパネルが装備されている。管理・運営は、義塾の支援を受けて三四会の山荘運営委員会が担当している。