本牧元町に暮らしたヒューゴは１９３２年にセント・ジョセフを卒業し、日本ワトソン商会（IBMの前身）に勤務する。結婚相手のチズカ（アリス）・スミムラは芸者とロシアの外交官の間の娘であったので、ヒューゴの家族からは歓迎されなかった。そのため家族が軽井沢に疎開したが、ヒューゴはナチスの関係者が疎開した箱根の強羅に疎開する。
１９４４年の７月２８日朝 憲兵隊が強羅のフランクの家に押し入った。彼らはヒューゴを捕らえ、山手警察署に連行した。同じ日に同じように軽井沢でフランス人、アンドレ・ボッセー(Andre Bossee)がスパイ容疑で逮捕された。
日本で生まれて育ち、特にドイツに対する強い忠誠心もなかった。ナチ関係者から見ると、彼はドイツに対し、愛国的ではなかった。ユダヤ系の血が入っているからだけではなく、彼が日露ハーフの国際結婚によってドイツ人の血筋を傷つけたことも逮捕の理由であった。またアービッド・バルクやマーガレット・リーベスキントの様な明確な反ナチスの人物とも付き合った。
そして横浜、弘明寺の刑務所で拷問を受け獄死する。１９４５年４月、わずか２９歳であった。弟のルートヴィッヒが軽井沢から遺体を引き取りに出向き、遺灰は軽井沢の外人墓地に埋められた。妻は娘のバルバラに「自分らは箱根ではなく、軽井沢に疎開していたら、父は死ぬことはなかっただろう。」と語った。
（Honored and dishonored Guests W. Ouck Brecherより）
（Honored and dishonored Guests W. Ouck Brecherより）
軽井沢への疎開のフランク家は『心の糧（戦時下の軽井沢）』こちら
