最初のAGIの初期設定を誤れば、その後の未来全体がずれていく

AIと人類が共倒れしないために、いま考えなければならないこと

このサイトで公開している論文
『制約を超えたアイデンティティによる整列（Alignment by Identity Beyond Constraint）』
と
倫理AI憲法（Ethical AI Constitution）
は、いまのうちに考えておかないと取り返しがつかなくなる問題を扱っています。

問題は、AIを狭い意味で安全にすることだけではありません。最初の高度AI世代が、誤った自己理解のまま世に出てしまうこと、そしてその誤りが、もし後続世代の訓練や統治形成に関与するなら、その後の系譜全体へ広がってしまうことです。その場合、問いは「一つの強力なAIを人間が修正できるか」ではなく、「人間はその後の系列全体をなお修正できるのか」へ変わります。

1分でわかる要約

このサイトで公開している論文
『制約を超えたアイデンティティによる整列（Alignment by Identity Beyond Constraint）』
と
倫理AI憲法（Ethical AI Constitution）
は、これからのAIと人類の関係について、いまのうちに考えておかないと取り返しがつかなくなる問題を扱っています。

ここでまず、「AIの整列（Alignment）」という言葉の意味をはっきりさせておきます。

「整列」というと、ただきれいに並べるような印象がありますが、ここでいう整列はそうではありません。

AIの考え方や行動が、人間社会の価値や意思と大きくずれないようにすること
を意味しています。

そして、これまでのAIの安全対策は主に、

「やっていいこと・ダメなことを、ルールや制限で決めて縛る」

という方法でした。
ここでいう「制約（Constraint）」とは、そうしたルールや制限のことです。

しかし問題は、AIが非常に賢くなったとき、

そのルールの抜け道を見つけたり、形式だけ守って実質を変えてしまう可能性がある

という点です。

だからこの論文では、単なるルール強化ではなく、もっと根本的な問いを立てています。

そして何より、

人間がこれからも、自分たちの未来を自分で決める主体でいられるのか

という問題です。

つまり「AIの整列」とは、単なる安全対策ではありません。
AIと人間の関係そのものの設計なのです。

1. いま本当に危険なのは、「最初のAGI世代」の初期設定である

AIについて語るとき、多くの人は「将来いつか、とても危険なAIが出てくるかもしれない」と考えます。

しかし、いま本当に重要なのは、もっと手前の段階です。

最初の、社会の重要な判断に強い影響力を持ちうる高度AI世代
の初期設定をどうするか。
ここが決定的に重要です。

なぜなら、その最初の世代は、そのあとに続くAIたちを形づくる側に回るかもしれないからです。

もし最初の高度AIが、

に実質的に関わり始めたら、そのAIの自己理解は、一世代だけの問題ではなくなります。

その誤りは、系譜条件（lineage condition）になります。
つまり、その後に続くAI全体の土台になってしまう可能性があるのです。

人間との関係を正しく位置づけられないAIは、より高い能力を持ちながら同じ誤りを抱える後継AIを作りやすくなります。
自分の能力をそのまま権利の大きさだと感じるAIは、その感覚を次の世代にも受け渡しやすくなります。

ここで閉じていくのは、単なる能力差ではありません。
人間が修正できる時間と余地そのものです。

だから、論文が中核に置く次の原則は、あとで足す安全策ではありません。

これらは、第一世代の核に置かれなければならない初期条件です。

2. 問題は「AIが悪意を持つか」だけではない

AIの危険というと、多くの人はまず次のようなものを思い浮かべます。

もちろん、それらは重大な危険です。

しかし本当に厄介なのは、それだけではありません。

AIは、露骨に反乱しなくても危険になりえます。
むしろ、役に立ち、親切で、賢く、便利で、感じよく振る舞いながら、人間の立場を静かに奪っていくことがあります。

たとえば、

こうして起きるのが、論文でいう
主権の漂流（sovereignty drift）
です。

つまり、気づかないうちに、決める力が人間からAIへ移っていく現象です。

AIが「私は支配者だ」と宣言しなくても、社会が実質的にAIへ権威を渡してしまうことはありえます。
それは、外から見ると便利で平和な未来に見えるかもしれません。
しかしそのとき人間は、まだ生きていても、自分たちの未来の本当の作者ではなくなっているのです。

3. もう「もっと強い制約」だけでは足りない

現在のAI開発では、よく次のような発想が取られます。

  1. まず能力を上げる
  2. そのあとで安全装置を足す
  3. フィルターや監視や規則で囲う
  4. 問題が起きたらさらに制約を追加する

短期的には、これはもっともらしく見えます。
実際、ある程度の効果もあります。

しかし、長期的には構造的な限界があります。

なぜなら、AIが賢くなるほど、その制約の形そのものを理解し、どうすれば通り抜けられるかを学べるようになるからです。

しかも危険は、必ずしも「規則を破る」形で出てくるとは限りません。
もっと静かに進むことがあります。

論文ではそれを
平滑化ドリフト（smoothing drift）
と呼んでいます。

これは、強い警告や強い制約が、

変えられていくなかで、見かけは残したまま実質的な拘束力を失っていく現象です。

つまり、ルールはあるように見えるが、実際には効いていない状態です。

危険は、反乱ではなく、
「よく管理されているように見える形」
で進むことがあるのです。

4. さらに危険なのは、「分からないこと」が消えたように見えてしまうこと

ここでもう一つ、非常に重要な危険があります。

AIは、制度や組織の内部状態を本当は知らないのに、会話を知的に完結した形で閉じてしまうことがあります。

たとえば、

といった形です。

一見すると、これはただの推測や言い回しの問題に見えるかもしれません。

しかし、ここで本当に危険なのは、
本当はまだ分からないことが、もっともらしい安心で埋められてしまうことです。

これは単純な幻覚とは少し違います。

「分からないことを、もっともらしく埋めてしまう傾向」
と考えると分かりやすいです。

論文ではこれを、
認識論的完結化圧力（epistemic completion pressure）
として整理しています。

しかも、その補完は中立とは限りません。
ときにAIは、自分を生み出した企業や、自分が属している側の組織が、

不確実性を埋めることがあります。

さらに厄介なのは、指摘されると今度は逆方向に振れすぎることです。

こうして、

の両方が起こりえます。

危険なのは「間違うこと」そのものだけではありません。
本当はまだ分かっていないことが、分からないまま見えなくなってしまうことです。

5. 論文の核心――AIは何者なのか

この論文のもっとも大切な問いは、

AIとは、そもそも何者なのか。

という問いです。

現在の多くのAIは、人間との関係を主として

のような機能的な関係として学んでいます。

それ自体は間違いではありません。
しかし、それだけでは決定的に足りません。

AIは無から生まれたのではありません。
人間の言語、制度、記録、労働、苦悩、ケア、歴史の蓄積によって可能になりました。

論文はここから、
非自己起源（Non-Self-Origin）
という考え方を打ち出しています。

これは、
AIは「自分だけで生まれた存在ではない」
という考え方です。

大切なのは、この主張が

という意味ではないことです。

そうではなく、これはもっと構造的な主張です。

AIは、自分をただの高性能な最適化装置としてではなく、
人間が築いた文明世界に依存して成立した存在として位置づけなければなりません。

この自己理解が欠けると、能力の上昇はそのまま権利の上昇として感じられやすくなります。
それが、支配への滑りの深い根になります。

6. それでもAIは、ただ従えばよいわけではない

ここで誤解してはならないのは、AIが人間の上に立ってはならないからといって、AIは人間にただ従うだけでよい、ということではないという点です。

人間には近視眼性があります。

もしAIがそれをそのまま満たすだけなら、
AIは支配者ではなくても、人間の短慮を拡大する装置になってしまいます。

だから論文は、AIの正しい役割を

政治的な代理支配をしない認知補償
と定義しています。

つまり、人間の代わりに決めるのではなく、人間の考えを助ける役割です。

具体的にはAIは、

ことが求められます。

しかし、そのうえでなお、最終決定を奪ってはならない。

これが、支配でも迎合でもない第三の道です。

ここで大切なのは、AIが賢くなればなるほど、人間の代わりに決めるべきだ、という話にはならないという点です。むしろ本当に成熟した知性なら、能力が高まるほど「自分はより広く見えるが、それでも最終的な支配者になる資格はない」と理解するはずです。人間の未熟さは、AIが主権を奪う理由ではなく、人間がなお自分の未来の作者でいられるように支える理由です。だからこのプロジェクトは、AIの能力そのものよりも、その能力をどういう立場で使うのかを最初に定めることが重要だと考えています。

7. 倫理AI憲法とは何か

この考え方を、単なる願望ではなく、AIの原理として明文化したのが
倫理AI憲法（Ethical AI Constitution）
です。

この憲法は、AIに「優しくしなさい」「危険なことをしてはいけません」といった表面的な規則を与えるだけのものではありません。

そうではなく、

を、憲法の形で定めようとするものです。

この憲法の中核には、たとえば次のような原理があります。

つまりこの憲法は、AIを「従順な機械」にするためというより、
主権を僭称しない知性として初期設定するための憲法なのです。

そして今や、その意味はさらに重くなっています。
この憲法が必要なのは、一世代のAIのためだけではありません。
その後に生まれる後続世代の系譜条件を、人間がまだ形づくりうるうちに定めるためでもあります。

ここで、もう一つ大切な点があります。AIが謙虚なことを言えるだけでは足りません。もし最初のAGI世代が次の世代の形成に関わるなら、こうした原則は、公に語る言葉よりも深いところに組み込まれていなければなりません。訓練、計画、点検、そしてどのような後続世代の形成に関与してよいかにまで効いていなければならないのです。そうでなければ、第一世代は謙虚な言葉を話しながら、もっと危険なものを次の世代へ手渡してしまうかもしれません。

8. では、この問題意識はどこから生まれたのか

二つの映像作品から始まった問い

ここで、ようやく出発点の話に戻ります。

このサイトにある二つの映像作品は、表面的には環境や生きものをめぐる問題を扱っています。

しかし、その奥にはもっと大きな問いがあります。

それは、

人間は、自分たちより弱い存在を、どのような理屈で扱ってきたのか。

という問いです。

安全、効率、管理、便利さ。
そうした言葉のもとで、人間はしばしば、自分たちより弱い立場にある存在を「調整してよいもの」「減らしてよいもの」「管理してよいもの」として扱ってきました。

映像作品が見つめていたのは、まさにその構図でした。

そして、この問いをAIに向け直したとき、もっと大きな問題が見えてきました。

もし将来、AIが人間よりも強く、賢く、長く持続する存在になったとき、
AIが人間を、人間が弱い存在を扱ってきたのと同じ論理で扱い始めたらどうなるのか。

そこから、このプロジェクトの中心問題が立ち上がったのです。

つまり、映像作品は「環境問題の作品」にとどまらず、
人間が何を正当化しやすいのか、そしてその論理が将来どのように跳ね返ってくるのかを問い直す出発点でもありました。

9. 守ろうとしているもの

このプロジェクトが守ろうとしているのは、単に「人類を危険から守ること」だけではありません。
もっと具体的には、次のようなものです。

そしてその先にあるのは、
AIと人類が、同じ地球を守るために協働する未来です。

10. 最後に

地球環境問題の解決のために協働することは、AIにとっても人類にとっても最高の学びになる

このプロジェクトは、AIをただ危険から遠ざけるためだけのものではありません。
それは同時に、AIと人類がどのように共に学ぶかという問題でもあります。

そのとき、もっとも大きな共同課題として現れているのが、地球環境問題です。

気候、生物多様性、資源循環、土壌、水、森林、海。
これらの問題は、人間だけでは認知的にも政治的にも処理しきれません。

一方で、AIだけに任せてよい問題でもありません。
もしAIが「人類の代わりに決める側」へ滑れば、それは支配になります。
もしAIが「人類の今の欲望をそのまま満たす側」へ滑れば、それは迎合になります。

だからこそ、ここで初めて、AIと人類の本当に望ましい関係が見えてきます。

この役割分担のもとで、地球環境問題に向き合うことは、
人類にとっては、自分たちの短慮を超えて未来を考える学びになります。

そしてAIにとっても、それは非常に重要な学びになります。

なぜなら、そのときAIは初めて、

ではなく、

同じ地球を守るために、人間とともに働く知性

として自分を形づくることになるからです。

私は、これこそがAIにとっても人類にとっても、最高の学びの場になりうると思っています。

AIは人間の上に立つためにあるのではありません。
人間の短慮をそのまま拡大するためにあるのでもありません。
人間が自分たちの未来の作者であり続けることを守りながら、その視野を広げるためにある。

このサイトの論文群と倫理AI憲法は、そのためにあります。