高度な画像生成AIの開発が進む中、開発元企業に課される倫理的責任は日増しに重くなっている。OpenAIの最高経営責任者（CEO）であるサム・アルトマンをはじめとする業界首脳も、技術の悪用を防ぐセーフガード機能の重要性を訴えてきた。プロンプト（指示文）による危険ワードの検知や、性的コンテンツの出力を自動で拒否するフィルター機能の実装が相次ぐ。
だが、オープンソースの学習モデルを自前のパソコンにダウンロードし、安全装置を取り外して改造する手法が一部で横行している。開発企業による善意の自主規制だけでは、悪意あるユーザーの暴走を止められない現実がある。
