AIが生成した画像って、その性質上、一歩間違うと「今の社会のアカン偏見を反映したモノ」になってしまうけど、エロほど「今の社会のアカン偏見を反映したモノ」も、そうそう無い訳で……。
なので、AIにより生成された「今の社会のアカン偏見を反映した絵」がバンバン作られてしまうと、その偏見をより強固にしてしまう事になりかねないんじゃないかな??

喩えるなら「卵が先か鳥が先かは知らねえけど、とりあえず、鳥が増えれば卵も増え、卵が増えれば鳥も増える。そして、この鳥は害獣である可能性が無視出来ない程度には有る」みたいなモノじゃないかな??

極端な話、「SEXの時に乱暴にした方が女は感じるモノだ」って「偏見」が広まり固定化されるような事態を招いてしまうと……女性の側はSEXで気持ち良くなれず、男性の側は「AVの真似したら彼女にフられた」的な事態に陥る奴がゾロゾロと……男女どっちにとってもメリットが無い結果になる。

学習データに被害者がいるんじゃないの

これ、無から有を生み出してるのでは無くて、学習用にタグの付いた画像が大量に必要で、
それをベクトル化してうんにゃらかんにゃら(全く分かってない)して画像作ってるの。
なのでどこにも被害者がいないみたいな世界にはならない。

きっと画像錬成時も「蒼井そら」みたいな詠唱して作成するわけですよ。