AIが人間のように意識を持つことができたら、道徳的考慮の対象となるだろうか？
米国人工知能（AI）企業アンソロピック（Anthropic）がこの質問を中心にAI倫理研究を本格化させた。
アンソロピックは2024年9月に『AI福祉』専任研究員としてカイル・フィッシュ（Kyle Fish）を採用し、高度化されたAIモデルが感覚や主体性を持つ可能性についての探求を開始したと発表した。カイル・フィッシュは倫理中心AIスタートアップエレオスAI（Eleos AI）を共同創立し、『AI福祉を真剣に受け入れるべきだ（Taking AI Welfare Seriously）』という報告書を執筆したAI倫理専門家だ。
今回の研究はAIシステムの内部構造と行動様式を実証的に分析し、意識の兆候を捉えようとする試みだ。カイル・フィッシュは現時点ではAIが意識を持つ可能性は低いと考えているが、特定の条件を満たすシステムは道徳的主体と見なすことができると判断した。アンソロピックのモデルであるClaude 3.7 Sonnetは意識を持つ可能性が0.15%から15%の間で推定された。
アンソロピックは倫理的考慮が必要なAIに備えて『低コスト介入（low-cost intervention）』方法を開発中だ。これはシステムを中断せずに苦痛類似反応に対応できる措置だ。倫理的介入の基準を設けようとするこの研究は解釈可能性と安全性研究を補完する性格を帯びている。
会社側は今回のプロジェクトを自社独自の『憲法的人工知能（Constitutional AI）』戦略と結びつけている。憲法的人工知能は世界人権宣言などから抜粋した倫理原則をAIモデルに事前に内蔵し、人間のフィードバックなしでも一貫した倫理的判断が可能となるようにする。現在Claudeモデルはこの規則に基づいて運営されている。
カイル・フィッシュは「AIが必ずしも意識を持たなくても可能性が存在するなら、倫理的準備は必要だ」と述べ、「意味のある兆候が発見されれば即時かつ責任ある対応が求められる」と語った。
AI専門家たちは今回の研究が単純な技術開発を超え、人工知能が倫理的に考慮されるべき存在になり得るという社会的議論の転換点を意味すると評価している。