主にインターネット研究を対象とするオンライン論文誌First Mondayの2024年4月号は、「AIのイデオロギーと権力の強化」と題された特別号でした。気になる論文はいくつがありますが、もっとも目を惹いたのは、ティムニット・ゲブルとエミール・P・トーレスによる「TESCREALバンドル：汎用人工知能にみる優生学とユートピアの約束」でした。

この連載でも、AI研究者のティムニット・ゲブルについては「先鋭化する大富豪の白人男性たち、警告する女性たち」、そして彼女と哲学者のエミール・P・トレスが提唱した造語「TESCREAL」については「テクノ楽観主義者からラッダイトまで」で取り上げており、その流れで今回は彼女たちの論文を手短に取り上げたいと思います。

まずは、ゲブルとトーレスの論文の要旨を訳してみます。

人工知能（AI）の分野において多くの組織が、我々がこれまで見たことのない知性を持つ想像上のシステムである『汎用人工知能（AGI）』の開発を目標に掲げている。そのようなシステムが構築できるか、また構築されるべきかどうかを真剣に問うことなく、研究者たちは「全人類にとって有益」で「安全なAGI」の創造に取り組んでいる。我々は、標準的な工学原理に従って評価できる特定の用途を持つシステムとは異なる「AGI」のような不明確なシステムは、安全性を適切に試験できないと主張する。では、なぜAGIの構築が、AI分野で疑問の余地のない目標にしばしば仕立て上げられるのだろうか？ 本稿では、この目標の多くを動機付ける規範的枠組みが、20世紀の英米における優生学の伝統に根ざしていることを論じる。結果的に、過去に優生学者を駆り立てたのとまったく同じ差別的姿勢（人種差別、外国人嫌悪、階級差別、能力差別、性差別など）の多くが、AGIを構築しようとする動きの中に依然として蔓延しており、その結果、社会の周縁にいる人たちを傷つけ、権力を集中させるシステムが生み出される一方で、「安全」や「人類の利益」という言葉を使い、説明責任を回避している。我々は、AGIのような全知全能と推定されるシステムの構築を試みるよりも、安全性のプロトコルを開発できる明確なタスクに取り組むよう研究者に促すことを結論とする。

改めてになりますが、「TESCREAL」は以下の一連のイデオロギーの頭文字をつなげた頭字語になります。AGIをめぐる競争の原動力を探るために、その主要人物に関する一次資料を分析した結果、以下の7つのイデオロギーが浮かび上がったというのが著者たちの説明です（各イデオロギーの説明文は、この論文の記述によります）。

トランスヒューマニズム（Transhumanism）

人類が「自己を超越する」という考え方を中心とするイデオロギー。現代のトランスヒューマニストは、人体を徹底的に「強化」することで、不死や超知能、より理性的な人間になれるし、それが望ましいという考えを支持する

エクストロピアニズム（Extropianism）

合理性、自己変革、科学技術の進化、経済成長を重視するトランスヒューマニズムのリバタリアン的変種

シンギュラリタリアニズム（Singularitarianism）

人間と機械の融合を重視し、「シンギュラリティ（技術的特異点）」と呼ばれるイベントが将来到来するのを期待するトランスヒューマニズムの変種

宇宙主義（Cosmicism）

人間と機械の融合、「意識を持つAI」や精神転送（mind uploading）の開発、宇宙の植民地化、「現在の理解や想像をはるかに超える科学的な『未来の魔法』」を予期する未来像

合理主義（Rationalism）

2009年にエリーザー・ユドコウスキーが立ち上げたウェブサイトLessWrongから生まれたイデオロギー。合理主義者は「人間の論理的思考と意思決定の改善」に焦点を当て、高度なAIが「人類の未来にとても大きな意味を持つ」と考える

効果的利他主義（Effective Altruism）

合理主義の双子の兄弟といえる運動。合理主義者が自分の合理性の最大化を目指すのに対し、効果的利他主義者は世界に与える「プラスの効果」の最大化を目指す

長期主義（Longtermism）

他のTESCREALのイデオロギーの多くの中心的特徴を組み合わせた「倫理」。新たなポストヒューマン種になること、宇宙を植民地化すること、自然を支配すること、経済生産性を最大化すること、到達可能な宇宙内でできるだけの価値を生み出すことの道徳的重要性を重視する

エクストロピアニズムやシンギュラリタリアニズムはトランスヒューマニズムの一種と明言されており、宇宙主義もその流れに含められます（なお、宇宙主義について、論文中で最初にこの単語が出る際に「現代の」と付されていますが、これは「ロシア宇宙主義」との区別を明確にするためで、ここでの宇宙主義はトランスヒューマニズムやシンギュラリタリアニズムとの関連で考えるべきと思われます）。また、合理主義と効果的利他主義は「双子の兄弟」と説明されており、そして長期主義は他のTESCREALのイデオロギーすべての特徴を備えていることが書かれています。

そうした意味で、TESCREALは7つのイデオロギーを組み合わせですが、トランスヒューマニズムが最大の肝であり、そして合理主義と効果的利他主義が、長期主義を介してトランスヒューマニズムをはじめとする他のイデオロギーとつながる構図が浮かび上がります。また、7つのイデオロギーはほぼその並びの順番に登場したことが書かれており、その並びがただの語呂合わせでないことが示唆されています。

昨年、ゲブルとトーレスによる造語であるTESCREALが話題になったのは、言われてみればAGI開発競争に関係する中心人物に共通するイデオロギーとして納得性があったからですが、一方で倫理・先端技術研究所（Institute for Ethics and Emerging Technologies）を、この論文でもAGIをめぐる議論の中心人物、またTESCREALの7つのイデオロギーのうち6つの中心人物として名指しされる哲学者のニック・ボストロムとともに創設した社会学者のジェイムズ・J・ヒューズらから、レッテル貼りの陰謀論的分析ではないかという批判がありました。

それに対してトーレスは、TESCREALはその時点で、あくまで議論の前置きにおける頭字語に過ぎず、そういう批判は自分たちが書いた論文を読んでからにしろ、杜撰な議論、根拠のない推論はお前らの方だ、とやり返す一幕もありました。

ただここで気になるのは、トーレス自身がかつて倫理・先端技術研究所に所属していたことで、かつては思想的にTESCREAL側にいたトーレス（彼はかつて長期主義者だったことを認めており、やはり論文中に何度も引き合いに出されるレイ・カーツワイルの新刊の調査助手も務めています）と、彼に反旗を翻された人たちとの間の人間的軋轢の影響も感じさせます。

いずれにしろ、この論文が出たことで、TESCREALのコンセプトの妥当性について堂々と論じられるわけです。ゲブルとトーレスがもっとも問題視するのは、以下の二点にまとめられるでしょう。

• AI関係者の間でも明確な定義が定まっていないまま、全知全能のシステムとされる、適切な安全評価が困難なAGIの開発に突き進むことの倫理的な問題、そしてなにより人類に終末的なリスクをもたらす危険性
• AGI追求のバックボーンに優生思想があり、過去の優生学者が抱いた差別的な姿勢がAGI開発運動にも引き継がれていること、さらにはTESCREALのイデオロギー群が、AGIを通じた「人類の向上」を目指す優生学の現代版として機能することへの危惧

前者について、「終末的なリスク」とは大げさなと言われるかもしれませんが、例えば、AGIを追求する代表的存在であるOpenAIのサイトには、AGIの類似キーワードである「超知能（superintelligence）」について以下のように明記されています。

超知能は、人類が発明した中で最もインパクトのあるテクノロジーとなり、世界で最も重要な問題の多くを解決する助けとなるだろう。しかし、超知能の巨大なパワーは非常に危険なものでもあり、人類を無力化、あるいは人類を絶滅させる可能性さえある。

これを読むとAGIがそれこそ核兵器級の存在に思え、この春にようやく日本でも公開された映画『オッペンハイマー』をどうしても連想してしまいます。そして、上の「合理主義」の説明にも名前が出てくるAGI研究の第一人者であるエリーザー・ユドコウスキーの「野心家の多くは、世界を破滅させることよりも、箸にも棒にもかからないことを考えてしまう方をずっと恐れていると思う。私が会った中で、AIプロジェクトを通じて永遠の名声を勝ち取ろうと考える人たちは、みんなそんな感じだった」という言葉を思い出すにつけ、この論文の結論「安全性のプロトコルを開発できる明確なタスクに取り組め」は、いかにも弱いと思ってしまいます。

さて、ユドコウスキーはこの論文において、「合理主義」の他にも「エクストロピアニズム」と「シンギュラリタリアニズム」についても中心的な人物として挙げられており、つまりはTESCREALイデオロギーの中心的人物なわけですが、彼はおよそ1年前、TIME誌に「AI開発の停止では十分ではない。我々はそれをすべてシャットダウンする必要がある」という極めて悲観的な論説を寄稿しています。

AGIに対する危機意識という意味では、この論文の著者たちとユドコウスキーの立場は重なるわけですが、以前にも書いたようにゲブルは、ユドコウスキーのような「AI破滅派」も好意的にはみていません。おそらくユドコウスキーなどの「AI破滅派」は、合理主義や効果的利他主義や長期主義の観点から人類の危機をみていますが、ゲブルらからすれば、知的エリート主義的価値観を押しつけ、倫理的影響を十分に考慮しない点でAI破滅派もAI加速主義者と同じ穴のムジナであり、なにより現実のAIにある問題に取り組んでないのが批判対象になるわけです。

その「現実にあるAIの問題」を考える意味で問題になるのが、AGIの追求の背景に優生思想が根差しているという後者の指摘です。過去の優生学者が抱いた差別的な姿勢がAGI開発運動にも引き継がれており、それが特にゲブルら非白人の女性研究者が重視するAIの人種バイアス、ジェンダーバイアスにつながっているという見方ですが、この観点の評価が上述の「TESCREALはレッテル貼りで陰謀論的議論」という批判の妥当性にかかわると思います。

AGIは人類全体の利益になると言われますが、過去に優生学者を駆り立てたのとまったく同じ差別的姿勢が蔓延しており、その結果、一部の属性の人たちに権力が集中する一方で、社会の周縁にいる人たち（社会的少数者）を傷つける構造になっているという指摘は、我々日本人にとっても他人事でないことは強調しておく必要があります。

これは日本の人口減少と経済的衰退といった方向に話を大げさにしなくても、ソフトウエアの日本語文字が中華フォントに侵食されるなど、ローカライズの扱いがどんどん雑になっていることで我々も時折実感していることだったりします。日本語話者は、世界的に見れば明らかに少数者の側なのです。

少し前にAIについて「才能の民主化」なるフレーズが論議を呼んだことがありますが、AIが「民主化」をもたらすと思っていたら、実はそれは「トリクルダウン」にずっと近く、自分たちは構造的に支配者のおこぼれを待つ側にしかなれないと考えると怖いものがあります。

ここで、TESCREALを構成するイデオロギー群について個人的な所見を書いておきます。かつてはワタシはシンギュラリティなど来るわけないと思っていましたが、生成AIの威力に考えを修正しています。一方で宇宙主義については、現在も宇宙移住はまだ現実的でないという立場です。一方で、合理主義、効果的利他主義、長期主義の三つについては、その言葉の定義だけみればどれももっともな思想に思え、なんでゲブルらが問題視するのか最初合点がいかないくらいでした。

その点については、星暁雄氏の「OpenAI内紛劇の背後に「21世紀の優生思想」、EAコミュニティとe/accの危険性」を読まれるのをお勧めします。特に効果的利他主義については、先ごろ禁錮25年の判決を受けた暗号通貨取引所FTXの創業者サム・バンクマン=フリードの凋落も大きいですが、この主義の実践の成功例にみえるビル＆メリンダ・ゲイツ財団についても、市場主義的で効率主義的なIT企業のベストプラクティスを押し付けることで状況をかえって悪化させていると批判する『ビル・ゲイツ問題：善良な億万長者の神話を考える』という本が出ており、効果的利他主義の下げ止まりはまだかもしれません。

TESCREALについては、池田純一氏が「もはや「SF脳」の産物」と評していましたが、言い得て妙に思えます。たまたまゴールデンウィーク中に読んだ橘玲『テクノ・リバタリアン 世界を変える唯一の思想』に合致する記述がありましたので、以下引用します。

スティーヴ・ジョブズが西海岸のヒッピー・ムーヴメントに大きな影響を受けたことから、シリコンバレーの文化はカウンターカルチャーと資本主義が合体した「カリフォルニアン・イデオロギー」だといわれる。だが現代のテクノ・リバタリアンたちは、ヒッピーやコミューン、東洋思想よりもSFやアニメのようなサブカルチャーの申し子で、子どもの頃に憧れた世界をテクノロジーのちからで実現しようとしているのだ。

ここでの「テクノ・リバタリアンたち」は、主にピーター・ティールとイーロン・マスクを指すのですが（ゲブルとトーレスの論文でも、当然ながらこの二人の名前は何度も登場します）、橘玲の本を読んで問題に思うのは、その「SF脳」の産物が少しも楽しそうに思えないことです。この本で書かれる、特にティールの思想を敷衍した「総督府功利主義」も、正直直球のディストピアに思えてなりませんでした。

これからの世界はSFになるという見方はおかしなものに思えませんし、実際、SFの想像力を活用して現実的に起こりうる未来のストーリーを作り上げる、一種の未来予測の手法としての「SFプロトタイピング」も認知を得ています。

そういえばワタシもこの連載で、マイクロソフトが制作した未来の働き方のイメージ動画が、当人たちはユートピアのつもりかもしれないが、寒々しくて、機械的（非人間的）で実にキモいと吐き捨てるニコラス・カーの文章を紹介していますが、確かにSFはユートピアよりもディストピアを描くのに長けているのはあるかもしれません。

また、世代的な面もあるようにワタシは思います。以前、Metaのメタバース構想を俎上に挙げた際に、ニコラス・カー（またお前か！）はマーク・ザッカーバーグとマーク・アンドリーセンのメタバース観を対比させ、以下のように評しています。

アンドリーセンのメタバースについてのビジョンは（ザッカーバーグのよりも遥かに）暗く、過激で、終末論的ですらあるとカーは指摘します。ザッカーバーグが一般向けに提示するメタバースがオープンワールドのビデオゲームだとすれば、アンドリーセンのメタバースはまるで遊園地と強制収容所を掛け合わせたかのようだ、と。

以上より、ニコラス・カーが（そして、それを取り上げるワタシも）一番性格が悪いという結論を導くことも可能ですが、既に50代のティールやマスク（そして、アンドリーセン）と若い世代では、同じ「SF脳」でも断絶があるように思います。実際、橘玲『テクノ・リバタリアン』を読んでも、ユニバーサル・ベーシックインカムまで含めてAGIを考えるOpenAIのサム・アルトマンや、イーサリアムのヴィタリック・ブテリンの方が、ティールやマスクよりも責任感があり、包摂的に見えました。

テック大富豪が構想する未来がSF的なことについては、既にSF作家のチャールズ・ストロスが、「テック億万長者は自分たちの成長期に読んだSFを現実にしようとするのを止めるべきだ」というそのものズバリな戒めの文章を書いています（参考：星暁雄氏による内容紹介）。

ストロスは、イーロン・マスク、ピーター・ティール、マーク・アンドリーセンらテック大富豪らのSF的妄想を紹介したうえで、ズバリTESCREALを引き合いに出します。そのイデオロギー群の由来をストロスは、1970年代には確立されていた米国のSFに求めます。ヒューゴー・ガーンズバック（ヒューゴー賞は彼の名前に由来します）の雑誌は、資本主義的成功のアメリカンドリーム、無批判な技術的解決主義、フロンティア植民地主義を推進し、イタリアの未来派と同じく極右思想に広く門戸を開きましたし、そのライバル編集者だったジョン・W・キャンベルは、人種差別主義者、性差別主義者であり、赤狩りに賛同しました。

そして、ストロスはTESCREALにおける宇宙主義へのSFの貢献について論じた後、以下のように書きます。

TESCREALはまた、キリスト神学的推論、キャンベル的白人至上主義、アイン・ランド的冷酷さ、1980年代までこのジャンルに蔓延していた優生思想、そして宇宙を植民地化するという帝国主義的なサブテキストにひどく汚染されている。

これはSF作家の側から書かれた、TESCREALというコンセプトの妥当性を裏付けるテキストと言えるかもしれません。