ネット上では「赤楚衛二の実家は相当なお金持ちなのではないか」という声が絶えません。その背景には、父親が大学学長という社会的地位にあることだけでなく、家庭全体の洗練された文化的水準の高さがあります。
母親は現役のピアノ講師であり、赤楚さん自身も幼少期からピアノのレッスンを受けていました。また、言語学者である父親の影響で、幼い頃から学問や異文化に触れる機会が日常的に用意されていたといいます。
赤楚家では「月に1回、家族で海外映画を観る」という習慣があり、幼少期から良質なエンターテインメントに触れる環境が整っていました。単なる物質的な贅沢ではなく、教育や教養への投資を惜しまない家庭環境こそが、赤楚衛二さんの豊かな感受性と品格を形作ったと言えます。