絶頂期を過ぎた2000年代後半、細木数子は突如としてテレビ番組からの降板を発表し、表舞台から姿を消した。本人は「本業の鑑定に専念するため」と説明していたが、背景には相次ぐ追及報道と社会全体の暴力団排除条例の動きがあったとされる。コンプライアンス遵守が厳格化される時代の変化は、昭和的な裏人脈を背景にした異色のスターの存在を許容しなくなっていった。
晩年の彼女は、かつての派手な言動を控え、都内の邸宅で静かに暮らしていた。養子であり後継者となった細木かおりに「六星占術」の継承を行い、自らの帝国を次世代へと引き継ぐ準備を進めた。2026年に83歳でこの世を去った際、かつて世間を騒がせたスキャンダルが大きく蒸し返されることはなく、ひとつの時代の終わりを静かに印象付けるにとどまった。