再婚相手である義父との関係は極めて険悪なものでした。義父の実子である2人の弟たちとは明確に差別され、理不尽な体罰や冷遇を受ける日々が続いたといいます。
身の危険や精神的な負担を案じた母親の判断により、横山は一時的に母方の祖父母の家へ預けられることになりました。祖父母からの温かい愛情を受けて過ごしたものの、小学5年生の頃に祖父が病に倒れ、再び義父のいる自宅へ戻らざるを得なくなります。家庭内での孤立や理不尽な扱いに耐え忍ぶ過酷な日々でしたが、後に母親と義父は離婚。母と弟たちを守るため、横山自身が一家の大黒柱としての自覚を強く芽生えさせる契機となりました。
