今も現存し公開されている２３４番館は、１９２７年頃に外国人向けの共同住宅（アパートメントハウス）として、建てられた。３ＬＤＫの住居が四つあったが、一つの住居は決して広いものではない。１９４３年、その一区画にぺスタロッチ夫妻は住んでいた。
この時彼はＣ．アングストと共に赤十字国際委員の臨時の駐日代表であった。赤十字国際委員はスイスに本部を置き、敵国に捕らえられた捕虜が正当に扱われているかなどを監視する役目を負った。彼はスイスから派遣された正規のメンバーではなく、駐在する日本で民間のスイス企業から採用された。
１９４２年、ペスタロッチは横浜ヨットクラブの収容所を訪問するが、彼はそこに収容された連合国の女性たちの存在を、ジュネーヴの中央捕虜情報局に届けなかった。戦後それに対し非難があがった。後任のストレーラー女史が調査し
「日本の警察が赤十字の訪問は非公式なものであるとして、国際赤十字への報告を厳しく禁じたためと思われる。」とかばって報告した。
「日本の警察が赤十字の訪問は非公式なものであるとして、国際赤十字への報告を厳しく禁じたためと思われる。」とかばって報告した。
ペスタロッチは１９４３年１月、ドイツ人ジャーナリスト、アービッド・バルクの妻エステレーと前の夫との間の子マリーエリセ（Marie-Elise）と結婚する。ユダヤ人のエステレーは娘たちの結婚相手によって、ユダヤの血筋が薄まることを望んだ。
終戦が近くなると、同委員会は軽井沢に疎開する。終戦直前に日本に赴任してきたジュノー博士が職員に非スイス人の多いことに驚く。ユダヤ人、無国籍者もいたという。それに対し、「スイス人を確保できない中で、協力者を得られたことは喜ばしい」とペスタロッチは説明している。
