音声生成技術の進歩により、実在の人物の声に似せた音声を作ることが以前より簡単になった。短い音声サンプルから声質を模倣する技術もある。これにより、未成年の声を無断で使った性的なフェイク音声が作られる危険が高まっている。
AIで作ったから実害がない、という考えは誤りだ。本人に似た声が性的な文脈で流通すれば、名誉や尊厳を傷つける。学校生活、人間関係、進学や就職への不安にもつながる。実在の未成年を連想させる形で音声を作る行為は、深刻な人権侵害になり得る。
また、AI生成を口実に違法素材を売る業者もいる。実在音声か生成音声かを利用者が確認するのは難しい。疑わしいコンテンツに近づかないことが、最も確実な安全策になる。