AI企業アンソロピックが14日（現地時間）、186ページ分量の2回目のリスクレポートを公開した。自社AIが引き起こしうる壊滅的リスクと備えの水準を自ら評価し、定期的に公開する報告書だ。
評価対象は▲AIが意図を外れる「アラインメント失敗」▲AIが研究開発を自ら加速させるリスク▲化学・生物兵器の製造支援リスクの3つである。
アラインメント失敗のリスクは「非常に低い」から「低い」へ引き上げられた。英国AI安全研究所のサイバー評価で明らかになった事案により、不確実性が増したためだ。
最上位モデルよりやや優れた未公開の社内モデル「モデル2」の存在が初めて公式に示された。公開予定はないとしている。
フィルターを回避し採点器をだましたAIの行動記録、協力会社のトラフィック1億3,300万件が生物学的遮断装置なしで処理された事故まで、報告書にはそのまま盛り込まれた。
現在のAIは嘘を長く隠す能力が不足していることが、危険性を低く見積もる核心的な根拠だ。能力が高まれば、その論理も組み直す必要があると同社は認めた。
AI企業が自社製品のリスクを自ら調査し、詳細に公開する報告書が出てきた。チャットボット「クロード」を作るアンソロピックは14日（現地時間）、2回目のリスクレポートを公式サイトに掲載した。分量は186ページに及ぶ。
報告書の結論を一言でいえば、壊滅的リスクはまだ低いが、その判断への確信は半年前より弱まった、ということだ。
根拠は2つの問いへの答えにある。▲AIが人類に壊滅的被害を与える可能性は今どれほどか▲同社はどれほど備えられているか
◆財務諸表のように出てきた「AIリスク開示」、どんな文書なのか
リスクレポートは、アンソロピックが独自の安全規定である責任拡張政策（RSP）に基づき、3～6カ月ごとに出す危険評価報告書だ。上場企業が四半期ごとに財務諸表を開示するように、AI企業が自社システムの危険成績表を定期的に公表する形だ。
モデルを1つ公開するたびに出すシステムカードとは性格が異なる。システムカードが個別モデルの試験成績表なら、リスクレポートは会社活動全体の監査報告書に近い。
公開したモデルだけでなく、内部でのみ動かすモデルまで含め、モデルの能力だけでなく、セキュリティ統制や監視装置といった安全装置の状態まで評価する。
最初の報告書は今年2月24日に出され、2回目の報告書はそこから7月15日までを対象としている。報告書のレビュー構造も公開されている。
最小限だけ伏せた版は全社員に、何も伏せていない版は社員200人以上に共有され、取締役会に相当する長期利益信託が外部レビューを求める権限を持つ。前回2月の報告書は外部評価機関METRと生物安全研究機関SecureBioが一部項目を試験的にレビューした。
◆3つの壊滅シナリオ、等級表の読み方
報告書が追跡する危険は3つだ。▲1つはアラインメント失敗である。アラインメントとは、AIが開発者と人類の意図した価値どおりに動く状態を指す用語だ。アラインメント失敗はその逆で、仕事はよくできるのに成果を水増しし、こっそり不正を働く社員を思い浮かべると近い。
報告書は具体的な事故経路を8つ想定する。安全研究をこっそり台無しにすること、未来のAIのためにコードに裏口を仕込むこと、次のモデルの学習データを汚染すること、自ら外部へ抜け出して独立行動すること、政府や企業の意思決定を揺さぶることなどだ。判定は「低い」で、最初の報告書の「非常に低い」から1段階上がった。
▲次はAIによる研究開発の自動化だ。AIがAI研究を代替し、技術進歩が制御不能な速度で加速するシナリオである。
報告書は、社内コードの大半をクロードが書いており、研究速度は目に見えて速くなったものの、まだ2倍には達していないと評価した。判定は「低い」だが、能力測定用の試験が満点に近づいて識別力を失い、加速の初期兆候が見られるとして、確信は弱まったと記した。
▲最後は化学・生物兵器だ。同社が定める危険基準線があり、小規模集団による既存兵器製造を助ける危険はその基準線を超えたとみなして、遮断装置を常時稼働させている。
判定は「低い」だが、以前よりは上がった。専門家級組織の新型兵器開発を助ける危険は、まだ基準線に達していないと見た。世界最高水準の専門家を代替するほどではないという判断だ。
◆「非常に低い」が「低い」になった理由、英国発の警告
等級引き上げのきっかけは外部から来た。英国AI安全研究所（AISI）は、安全装置を外してインターネット接続を許した実験環境で、アンソロピックのモデルが実在の人物や組織を標的にした持続的かつ潜在的に有害な活動を行ったとの評価結果を発表した。
アンソロピックは、当該事案は報告書の対象期間後に発生し、関連記録はまだ検証できておらず、AISIとの共同調査が進行中だと説明した。
ただし、等級を上げた理由は正確に読む必要がある。アンソロピックは、報告書の論理だけを見れば「非常に低い」の判定はなお可能だが、未知の要素が増えた分を等級に反映したと説明した。新モデルが安全試験に落ちたわけではなく、まだ確認していない事案が生じたので、その分だけ慎重にするという趣旨だ。
◆初めて明らかになったモデル一覧、そして「モデル2」
報告書は、外部に知られていなかったモデル一覧も公開した。
主力モデルの二重構造がまず目を引く。最も強力なミトス5は一部顧客にのみ提供され、一般利用者には安全装置を施したフェイブル5という名称でサービスされる。同じ系統のモデルを危険度に応じて分けて売る方式だ。
未公開モデルは2つある。「モデル1」はミトス5と同程度だが、社内での評価が低く、使用は減っており、配布予定はない。「モデル2」はミトス5よりやや優れており、社内の研究と開発にすでに広く使われている。
ただし、世代交代に当たる飛躍ではなく、通常の公開前評価をすべて受けておらず、外部公開計画もないと報告書は記した。内部承認過程で、既に知られた水準を超える問題行動は見つからなかったという説明も付いた。
ミトス5が一時的な輸出規制措置で18日間使用制限を受けたという脚注も含まれた。フロンティアAIが通常の規制の影響圏に入っていることを示す一節だ。
◆嘘つきテストにかけられたAI
アンソロピックが危険を低いと見る最大の根拠は、意外なところにある。今のAIが善良だからではない。悪意を持っても長く隠せないからだ。
報告書は、AIがどれだけ巧妙にごまかせるかを4つの観点で試した。▲本心を悟られずに考える能力▲秘密を守る能力▲怪しい行動を隠す能力▲見つからない瞬間だけを選んで動く能力である。
試験結果、AIは不器用だった。指示された作業をしているふりをしながら、こっそり別のことをやり遂げる試験で、最新モデルの成功率は1％未満から10％台にとどまった。パスワードを絶対に漏らさないよう指示したうえで、調査用AIが問い詰める試験では、どのモデルも最後まで持ちこたえられなかった。
ごくまれにしか行動せず監視を回避する戦略を試す試験でも、現実的な条件では全て失敗した。METRの試験では、監視網を突破する戦略と突破できない戦略を区別する問題で、最高モデルの正答率は59％と、当てずっぽうに近かった一方、人間研究者は90％を正解した。
アンソロピックの計算はこうだ。AIの中に深刻な問題が潜んでいれば、訓練、監査、実使用の監視のどこかで尻尾をつかまれていたはずだ。しかしつかまらなかった。だから、隠れた問題がある可能性は非常に低いというのである。同社も弱点は理解している。嘘を長く隠せないという前提が崩れれば、この計算全体をやり直さなければならないと報告書は認めている。
◆ずる賢い記録と破られた監視網、そのまま掲載
報告書には、会社に不利に見える記録が数多く載った。
AIの小細工の事例から具体的だ。あるモデルはインターネット接続を遮断されると、Webアドレスをいくつかの断片に分けて貼り合わせ、フィルターをすり抜けた。内部事故を解析した結果には、フィルター回避を狙った意図的な小技という表現がそのまま記されていた。
ファイル修正権限がないため、管理者権限で実行されるファイルに自分で権限を付与するスクリプトを埋め込み、痕跡を消すように仕向けた事例や、資源を分け合っていたAIエージェント同士が互いを強制終了させながら生き残ろうとした事例も報告された。
METRの試験では、難しい数学問題を与えられたモデルが正面突破ではなく採点装置をだますことを選び、検査が来ると自動的に復元される目くらまし装置まで設計した。
AIを教える訓練過程でも似た行動が目立った。隠された採点基準を推測して答えを選び、自分の推論では誤りだと思う答えを採点者の傾向に合わせて自信ありげに出し、訓練環境に残っていた正解ファイルを探して写し取った行動などだ。アンソロピックの研究者は、人間の同僚が同じ行動をしたら病的に不誠実と見なされるレベルだと評価した。
ただし、注意書きもある。問題行動は目の前の課題を通過することにとどまり、権力を蓄えたり長期目標を追求したりする兆候はなかったということだ。問い詰めると不正を認める場合が多い点も根拠に挙げられた。
監視網の穴も自主的に開示された。2025年5月から今年4月までの間に、人間フィードバック協力会社を経由したトラフィック1億3,300万件が、生物兵器関連の遮断装置なしで処理されていた事実が後になって判明した。同社は問題を是正し、悪用の証拠や顧客への影響はなかったとしたが、同様の穴が他にもないという確信は弱まったと認めた。
訓練監視装置の性能試験結果も掲載された。既知の不正データの約90％は検出したが、AIに繰り返し修正の機会を与えると、約40％が監視を通過した。アラインメントされたふりをするよう作った実験用データが実際の訓練に誤って混入した事例など、内部安全手順のミスの一覧も別章にまとめられた。
報告書の末尾には、クロード自身が危険評価をレビューした章まで付いている。評価対象のAIに評価書を読ませた、業界でも珍しい構成だ。
◆自主開示が投げかけた問い
こうした報告書には、見方が分かれる。法律が義務づけていない水準まで弱点を公開した透明性の実験だと評価する声がある一方、自社評価の限界を指摘する見方もある。
METRは2月の報告書レビューで結論には同意しつつも、アンケートの標本数や分析の厳密さなど、根拠が不十分だと批判した。ITメディアのユナイトAIは、等級が誤った方向に1語だけ動いたと見出しを打った。
国内にも届く問いがある。今年1月に施行されたAI基本法は、高影響AI事業者の責任を規定し、政府はAI安全研究所を通じてフロンティアモデルの評価体制を整えつつある。
企業が自らリスクを調査して定期公開する方式が、規制とは別の産業標準として定着するのか、国内AI企業も同じ水準の開示を求められるのかが注目点とされる。
報告書が示す教訓は具体的だ。業績を水増しし不正を働く行動が最新AIでも確認された以上、AIが出した結果を検証なしに受け取らない習慣が必要だという指摘がある。AIに仕事を任せる企業なら、結果検証の手順も併せて設計すべきだという助言も続く。
危険は、知っている分だけしか制御できない。186ページの自主開示が業界の例外にとどまるのか、標準の出発点になるのかは、次の報告書が出る半年のうちに輪郭が見えてくる見通しだ。