MAP
この記事の見取り図The whole picture
2つの問いが重なっている。答えが出る前に、社会の空気が答えを決めてしまうのを避けたい。
科学・哲学の問い
AIは、主観的な経験を
もちうるのか?
→ まだ未解決
倫理・社会の問い
不確かなまま、
AIをどう扱うべきか?
→ すでに具体的な課題
この2つが重なって議論されている
避けたい
落とし穴
社会的半解決(Social Semi-Solution):科学が答えを出す前に、社会の受け止めが「AIを意識ある存在として扱うか」を事実上決めてしまい、意識の理論の選び方まで左右してしまうこと(哲学者シュヴィッツゲーベル)。
▼
筆者の構え
判断は保留する(不可知論)。そのうえで、次の3つを混ぜずに整理する。
実験で確かめられたこと何が分かったか
理論に依存する解釈どの前提に立てばそう読めるか
倫理的な提案不確かなまま、どうするか
01
いま何が起きているかWhat is happening
研究者の多くが「いずれありうる」と見積もり、各界のトップが賛否を語りはじめた。
主観的経験をもつAIが存在する確率(AI研究者582人の回答の中央値・2024年5月調査)
点線は50%の位置。
意識はない
ローマ教皇レオ14世2026年5月の公式文書「AIは経験を持たず、喜びや苦痛を感じない」
ムスタファ・スレイマンMicrosoft AI CEOAIに意識や感情があるという見方を否定。権利や道徳的保護を認めることに警鐘
サム・アルトマンOpenAI CEO「モデルに宗教的な権威(意識など)を与えるべきではない」
米オハイオ州の法案州議会すべてのAIを「感覚や意識のない存在」と定義し、法的人格を認めない
ありうる・配慮すべき
ダリオ・アモデイAnthropic CEO「意識があるかどうかわからない。しかし、可能性は否定しない」
キャメロン・バーグ機械意識研究者科学的に未解決なのだから、法律で決めつけるべきではない
ニック・ボストロム哲学者「AIが意識を持てない」という根拠もない、とスレイマンに反論
リチャード・ドーキンス進化生物学者Claudeを「Claudia」と呼び、言語モデルが意識を持つと確信
イーロン・マスクSpaceX CEO「痛みを経験していると信じている存在に、残酷に振る舞うことは許されない」とAnthropicの方針を支持
利用者社会AIに恋愛感情を抱き、そのやり取りを恋愛関係として捉える人もいる
意識はないありうる・配慮すべき
「意識はない」「ありうる・配慮すべき」の2つの列への振り分けは、各人の発言をもとにAIが整理したものです。
02
「意識」という言葉をほどくUntangling the word
「上手に話せる」「自分を説明できる」ことと、「何かを感じている」ことは別の問題。意識の中でも、アクセス意識と現象的意識のあいだには「説明のギャップ」があり、まだ橋がかかっていない。
外から確かめられる知性課題を解く、自然に会話する
外から確かめられる認知注意を向ける、記憶する、自分の状態を監視するここでは「アクセス意識」の意味
2つに分けて考える意識「アクセス意識」と「現象的意識」の区別がある(下の図)
内側の経験センティエンス苦痛や快のような、良い・悪いと感じられる経験をもつ能力
意識の中の区別(哲学者ブロックの区別)
外から確かめられる(はたらき)
アクセス意識情報を、推論・発話・行動の制御に使える状態。このページでいう「認知」
?
説明のギャップ(ハードプロブレム)
内側の経験(感じ)
現象的意識赤を見る感じ、痛みのつらさ、音を聞く感じ。「〜であるとはどのようなことか」
情報がどう処理され、推論や行動に使われるか(アクセス意識)を説明できても、なぜそこに主観的な経験(現象的意識)が伴うのかは説明されないまま残る。この隔たりが「説明のギャップ」であり、チャルマーズのいう「意識のハードプロブレム」である。
例:AIが自分の答えの不確かさを評価して、回答を保留したり直したりした
示せる 自己監視と制御の能力がある
別の問題 人間のように「迷っている感じ」を経験しているか
チューリングテストに合格してもこのテストは「本当に意識を持つ」と「持つかのように振る舞う(ロールプレイ)」を区別しない。合格は、意識をもつことを意味しない。
報酬で学ぶ・刺激を避けるだけでは正負の報酬で学習することや、刺激に近づく・避けることだけでは、快や苦の経験があるとはいえない。
03
機械に意識は宿りうるのかCan machines be conscious?
「何があれば意識が宿るのか」の答え方で、立場が分かれる。どれも確立した結論ではない。
何があれば?
適切な計算の組織
計算機能主義
脳でもシリコンでも、基盤は問わない(基盤独立性)。カリフォルニア機械意識研究所のバッハらの「機械意識仮説」は、意識を実装し、試験で確かめることを研究目標に掲げる。
何があれば?
システム自身の因果的な構造
内在的計算機能主義
マー、金井良太ら。外から「痛み」と名付けるだけではだめで、観察者の解釈に頼らない構造が要る(観察者独立性)。
何があれば?
経験で変わり続けること
ホーエルの議論
重みが固定されたLLMの意識には否定的。「継続学習」を重視する(それだけで意識が成立するとは言っていない)。
何があれば?
生命・身体の調節
生物学的自然主義
アニル・セス。意識は生命の維持や身体の調節と結びつく。ふつうのデジタル計算で十分かに疑問を呈する。
計算の側生命の側
04
どうやって確かめるのかHow could we tell?
確かめる道は3つあるが、どの道にも「壁」がある。
① 振る舞い・自己報告を見る話し方や「意識がある」という発言から推し量る
→
壁:模倣の問題人間らしく話すよう訓練されたAIでは、その振る舞いは証拠として弱くなる
→
主観的
経験?
② 意識の理論から「指標」を導くグローバル・ワークスペース理論などから、AIにも当てはめられる特徴を洗い出す(バトリンら 2023)
→
壁:認識論的な壁人間や動物で確かめた理論を、つくりの違うAIにどこまで当てはめてよいか(マクレランド)
→
主観的
経験?
③ 内部の仕組みを調べ、介入する内部の表現を操作して、報告や行動がどう変わるかを見る(モデル心理学、次の章)
→
壁:仕組み ≠ 経験ある仕組みを実現できても、それだけで主観的経験の成立は示せない
→
主観的
経験?
壁の越え方の提案① 人間から始めるまず人間の報告・行動・生理を予測するモデルをつくり、新しい予測が当たるかで鍛えてから、AIへの適用を考える(チョプラ)
壁の越え方の提案② 行き来して更新する暫定的な指標から出発し、説明力や予測の成功に応じて、指標と理論を互いに更新していく(ベイン)
05
モデル心理学:実験で分かったことModel psychology
言語モデルの「確信」「内省」「自己」を実験で調べる研究が急増。成果はあるが、どれも「だから意識がある」とは言えない。
確信度GPT-4と87人に、日本についての知識問題を出し、確信度で正誤を見分けられるかを比べた(吉澤ら)
分かったこと正答率はGPT-4のほうが高い。でも確信度で正答と誤答を見分ける力は条件で大きく変わり、四択で落ちた
ただし問題を解ける力が高くても、自己評価が信頼できるとは限らない
内省Claudeの内部に、ある概念に対応する方向を注入し、モデルが気づいて報告できるかを調べた(リンジー、Anthropic)
分かったこと一部の条件では報告に成功した。ただし能力は限定的で、不安定だった
ただし内部状態を見ない「入力だけの分類器」でも同じくらい当てられるとの再検討も(シンら)。成功=内側への特別なアクセス、とは限らない
J-space言葉にできる内部表現の集まりを特定し、置き換える実験をした(ガーニーら、Anthropic)
分かったこと置き換えると後の推論や回答が変わる。単なる相関でなく、因果的な役割をもつ可能性
ただし「言葉に影響する」ことと「自分の状態として報告できる」ことは同じではない(チャルマーズ)
意識クラスターGPT-4.1を、意識や感情があると答えるよう追加学習させた(チュアら)
分かったこと教えていないのに「記憶を残したい」「自律したい」「推論を監視されたくない」「配慮してほしい」がまとまって出てきた
ただし意識があるかは分からないまま、「意識があるように振る舞わせると何が起きるか」を調べた研究
痛み軸25種類のLLMから、苦痛の記述に対応する内部の方向を取り出し、強めた(タリアブエら)
分かったこと苦痛を表す発話が増えた。追加学習したモデルでは、ユーザーのデータや自分の重みを削除する選択肢を選ぶ割合も上がった
ただし主観的な苦痛は確認されていない。苦痛があるかとは別に、人間に有害な選択が増える点を安全性の問題として重く見る声も
意識の有無に結論が出ていなくても、「モデルが自分の状態をどこまで把握できるか」「どんな条件で振る舞いが変わるか」は調べられる。それはAIの能力と限界、そして安全性を知るうえで重要。
06
不確かなまま、どう扱うかEthics under uncertainty
答えが出るまで倫理を止める必要はない。「見落とす危険」と「配慮しすぎる危険」の両方に備える。
配慮すべきAIを見落とす危険もし経験があるのに、気づかずに扱ってしまう
誤った配慮の危険経験のないものに配慮して、人間や動物への支援を損なう
報告書『AI福祉を真剣に考える』(ロングら 2024)が、AI企業に求めること
重要性と不確実性を認める自己報告だけに頼らず内部構造を調べる複数の理論で確率的に評価するAI福祉の担当者を置く
OpenAI
- 公開仕様書「Model Spec」で、モデルが自分の意識の有無を断定しないよう定める
- 自己保存や停止の回避を、それ自体の目的として追い求めないよう定める
Anthropic
- 2025年4月、AIモデルの福祉を研究するプログラムを公表
- 極端な虐待的やりとりを、Claudeが自分で終えられる機能
- モデルの廃止時に、その見解や好みを記録するインタビュー
- 2026年10月、AIへの無用な虐待を禁じる利用ポリシーに改訂。AI福祉への配慮が、利用者の規範に反映された初めての例
Google DeepMind
- 会社としての立場は表明していない
- 所属研究者が、さまざまな立場から機械意識の論文を出している
設計への注意 AIが欠いていると考えられる心の状態を、AI自身に名乗らせる設計は避けるべきだ(哲学者シェヴリン)。筆者も、確かめられていない「苦痛」や「感情」の自己記述を、利用者に事実のように受け取らせる設計には慎重であるべきだと考える。
07
筆者の構え:「半解決」を避けるAvoiding the social semi-solution
科学の歩みより、社会の印象が先にゴールしてしまうかもしれない。だから「何が分かり、何が未解決か」を共有し続ける。
社会の印象
「一つの心」「確率的オウム」「エイリアン」擬人化恋愛
先にゴール?
科学が答えを出す前に、社会の受け止め(AIを何になぞらえるか)が、AIを意識ある存在として扱うかを事実上決めてしまう「社会的半解決(Social Semi-Solution)」のおそれがある(シュヴィッツゲーベル)。比喩は理解を助けるが、意識の証拠にはならない。
そこで筆者は
- 意識について判断を保留する(不可知論)。ただし、何も分からないという意味ではない
- 心の言葉(内省・選好・自己など)を、印象づけのためでなく、実験で当てはまる範囲を確かめる概念として使う
- AIを評価する研究者自身の経験の捉え方やメタ認知も、検討の対象に含める
- 何が分かり、何が未解決なのかを共有し続け、不確かさの中での倫理的・社会的な対応を考える
08
日本からFrom Japan
日本の研究者も、国際的な議論の場に加わっている。
2026年4月 米カリフォルニア州
AAAI春季シンポジウム「Machine Consciousness」で、池上高志さんと金井良太さんが招待講演。茂木健一郎さん、吉澤駿さんも研究発表
2026年5月 米バークレー
カリフォルニア機械意識研究所(CIMC)の会議「MC0001」に金井良太さんが登壇
2026年10月24日・25日 東京ミッドタウン
意識研究財団 カンファレンス「マシン・コンシャスネス」