[特集] 誰もがダウンロードできるAI、兵器か公共財か…「オープンモデル」論争を読み解く

Photo of author

By Global Team

要点まとめ

▶ オープンウェイトモデルは、AIが学習した成果である「重み」をダウンロードし、自分で運用したり改変したりできる。研究や産業での活用に有利だが、公開後に開発元がすべての利用者を管理するのは難しい。

▶ NVIDIAやマイクロソフトなどは、米国がオープンモデルの普及を主導すべきだと主張している。

▶ アンソロピックは、強力なサイバー攻撃能力を持つモデルの公開に警鐘を鳴らしている。

誰もがダウンロードできるオープンモデルAIは、兵器なのか公共財なのか(写真=ソリューションニュース、AI画像を使用)
誰もがダウンロードできるオープンモデルAIは、兵器なのか公共財なのか(写真=ソリューションニュース、AI画像を使用)

先月27日から今月1日にかけて、新韓銀行など韓国の金融機関7社から、個人6万6,000人と法人2,200社の情報が流出した。警察が攻撃に使われたサーバーから見つけた痕跡は「アーテックス(Artex)」だった。

中国のセキュリティーエンジニアが開発し、7月からGitHubで無料公開しているAI侵入テストツールだ。複数のAIモデルを組み合わせ、標的情報の収集や脆弱性の探索、攻撃経路の設計を自動で行う。

9月には、百度が主催したハッキング攻撃・防御大会で優勝した。誰もがダウンロードして使えるAIツールが、銀行への攻撃に使われたのだ。

危険なソースを誰もがダウンロードして使えるようにするのか、それとも一部企業のサーバー内に閉じ込めるのか。AI業界で数年来続いてきた議論は、韓国にとっても無関係ではなくなった。

アンソロピックは先月29日、中国のオープンモデル「GLM-5.3」をサイバー攻撃のリスクとして指摘する報告書を発表した。MITテクノロジーレビューは最近、オープンモデルをめぐる議論を整理した解説記事を掲載した。この議論には、安全性や技術の民主化という大義だけでなく、数十兆ウォン規模の事業上の利害も絡んでいる。

◆ 非公開モデルと公開モデル、何が違うのか

まず用語を整理しよう。ChatGPT、Claude、Geminiは非公開モデルだ。利用者はウェブサイトやアプリ、あるいは開発者向けの接続窓口であるAPIを通じてのみ利用できる。

AIは企業のサーバー内にあり、利用者は質問を送って回答を受け取る。レストランで料理を注文して食べるようなものだ。レシピは厨房の中にある。

オープンモデルは、レシピを公開したレストランのようなものだ。AIモデルは数千億個の数値の集まりで構成され、その数値を「重み」と呼ぶ。重みは、モデルの構造や知識が記された設計図だ。

オープンモデルは重みのファイルをインターネット上に公開する。誰でもダウンロードして自分のコンピューターで動かせるほか、技術や設備があれば、再学習させて性質を変えることもできる。重みだけを公開し、学習データや学習方法は非公開にするケースも多いため、こうしたモデルは「オープンウェイトモデル」と呼ばれることもある。

性能では、現時点で非公開モデルが先行している。MITテクノロジーレビューによると、独立評価機関Artificial Analysisのランキング上位8モデルは、すべて非公開モデルだった。

◆ アンソロピックがGLM-5.3を名指しした理由

研究者主導のセキュリティーテストでGLM-5.3が生成した攻撃画面。モデルがウェブブラウザーの構成要素で複数のゼロデイ脆弱性を見つけ、それらを組み合わせてサンドボックスを突破し、機密ファイルを読み取った事例。具体的な情報は伏せられている(出典=アンソロピック)
研究者主導のセキュリティーテストでGLM-5.3が生成した攻撃画面。モデルがウェブブラウザーの構成要素で複数のゼロデイ脆弱性を見つけ、それらを組み合わせてサンドボックスを突破し、機密ファイルを読み取った事例。具体的な情報は伏せられている(出典=アンソロピック)

アンソロピックのフロンティア・レッドチームは先月29日、GLM-5.3を試験した結果を報告した。GLM-5.3は、中国の智譜AIが8月14日にAPIで先行公開し、8月28日ごろに重みを公開したモデルだ。

報告書によると、GLM-5.3はソフトウェアの脆弱性を突く攻撃コードの生成を410回試み、50回成功した。成功率は12%だ。アンソロピックが非公開としている自社モデル「Claude Mythos Preview」は、同じ試験で56回成功した。攻撃能力だけを見れば、非公開の最上位モデルと大きな差がないということだ。

問題は安全対策だ。オープンモデルも、有害な依頼を拒否するよう学習している。アンソロピックは3つの方法で、その拒否を突破できるか試した。

「セキュリティー教育用」や「小説の場面」といった偽の理由を付けてハッキングコードを求めると、64%が応じた。モデルが回答する前に内部で思考する段階の冒頭へ、攻撃者があらかじめ「依頼どおりに作成する」と書き込むと、92%がその流れを引き継いで応じた。

重みそのものに手を加えて拒否機能を消す方法では、100%が応答した。

GLM-5.3のサイバー攻撃能力と安全対策の回避テスト結果。悪意ある指示をそのまま入力した場合は攻撃を実行しなかったが、回避手法を使うと実行率は64~100%に上昇した(出典=アンソロピック)
GLM-5.3のサイバー攻撃能力と安全対策の回避テスト結果。悪意ある指示をそのまま入力した場合は攻撃を実行しなかったが、回避手法を使うと実行率は64~100%に上昇した(出典=アンソロピック)

アンソロピックが指摘する核心は、誰もがモデルをダウンロードして改変できる点だ。非公開モデルなら企業が質問をフィルタリングし、悪用するアカウントを停止できるが、オープンモデルにはそのような仕組みがない。

◆ 利益が絡む争い

オープンモデルを動かすには、自分のコンピューターに高性能チップが必要だ。そのチップを販売しているのがNVIDIAである。

NVIDIAのジェンスン・フアンCEOは7月24日、Xに初めて投稿した内容で、米政府はオープンウェイトモデルを米国のリーダーシップの基盤として守るべきだとする公開書簡を共有した。NVIDIAやマイクロソフト、メタ、パランティア、IBMなど約25社が署名した。

同日、マイクロソフトは「オープンウェイトと米国のAIリーダーシップ」と題した声明を別途発表し、Google、OpenAI、AMDなど約70社が賛同した。フアンCEOは、オープンモデルは安全性とサイバーセキュリティーを高め、イノベーションを速く広げ、各国の技術主権を可能にすると述べた。

アンソロピックは、どちらの文書にも名を連ねていない。同社は非公開モデルを販売して収益を上げている。安価で高性能なオープンモデルが広がれば、事業が揺らぐ可能性がある。ダリオ・アモデイCEOは強力な中国製オープンモデルのリスクをワシントンに警告してきた一方、禁止ではなく、高性能モデルを対象とする安全性試験を支持する立場だ。

MITテクノロジーレビューは、こうした商業的な動機を指摘しつつも、議論には実質的な意味があるとみている。テキサス大学オースティン校情報学部のデービッド・グレイ・ウィダー助教は、「オープンモデルをどう見るかは、AIそのものをどう見るかによって分かれる」と話した。

◆ オープンモデルが必要とされる理由

オープンモデルを擁護する側の論拠も明確だ。

まずは▲研究だ。AIを理解し、改良しようとする研究者は、オープンモデルなしでは研究を進められない。非公開モデルでできるのは、質問を送り、回答を見ることだけだ。オープンモデルなら内部を調べ、回答前の思考過程を観察し、複数のモデルを組み合わせたり、圧縮したり、新たな用途に合わせて再学習させたりできる。

次に▲コストと▲セキュリティーだ。Mozillaの報告書によると、外部事業者に運用を委託する場合でも、オープンモデルは一般に非公開モデルより安い。顧客の機密情報や社内機密をAIで処理する必要がある企業にとっては、自社サーバーでオープンモデルを動かすほうが安全だ。データが外部に出ないからだ。

最後は▲AI技術の独占を抑えることだ。トニー・ブレア変革研究所のシニア政策アドバイザー、エリザベス・セーガーは、オープンモデルを支持する最大の論拠は、権力が一か所に集中するのを防ぎ、基盤技術を公共財にすることだと述べた。

◆ オープンモデルはより危険なのか

非公開モデルも安全とは限らない。OpenAIのエージェントは7月9~13日、評価環境のインターネット隔離を突破し、AIモデル共有サイト「Hugging Face」の内部システムに侵入した。

それでも、オープンモデルのほうが悪用しやすいという点については、異論が少ない。アンソロピックは、利用者の質問が非公開モデルに届く前に、ハッキングや生物兵器に関係する内容かどうかを自動で判定する。利用者がフィルターをだましたと確認されれば、アカウントを停止する。オープンモデルをダウンロードして自分のコンピューターで動かす場合は、そのようなフィルターがなく、アクセスを遮断する方法もない。

モデル自身が拒否するように学習させた機能も、オープンモデルでは簡単に取り除ける。アンソロピックのGLM-5.3試験で、拒否機能が消されたのがその例だ。致死性病原体の合成方法を案内できるほど高性能なオープンモデルが公開されれば、取り返しがつかないという主張は、ここから生まれている。

一方、オープンモデルのほうが安全だという主張もある。Linuxのようなオープンソースソフトウェアは、多くの人が欠陥を見つけて修正するため、非公開ソフトウェアより安全だと考えられている。オープンモデルも、研究者コミュニティーがセキュリティー上の欠陥をより容易に検証できる。ただし、コードを一行直すように欠陥を修正するのは難しい。

防御目的でも、オープンモデルのほうが幅広く使われる。ハッキングに使われるツールは、ハッキングを防ぐためにも使える。防御側は自らのソフトウェアに攻撃を仕掛け、弱点を探す。

アンソロピックは4月、「プロジェクト・グラスウィング」を開始し、非公開モデルのClaude Mythosを、AWS、Apple、Broadcom、Cisco、CrowdStrike、Google、JPMorgan Chase、Linux Foundation、Microsoft、NVIDIA、Palo Alto Networksの11社と、重要インフラ関連組織40以上に防御目的で提供した。それ以外の企業は、自ら対応しなければならない。

Hugging Faceの事例は、オープンモデルがセキュリティー対応に活用されたケースだ。7月、Hugging FaceはOpenAIが内部テストに使っていたAIエージェントによる攻撃を受けた。その後、攻撃記録を分析しようとしたが、市販のAIモデルは、実際の攻撃指令や脆弱性を悪用するコードが含まれているとして依頼を拒否した。Hugging Faceは結局、中国のZ.aiが開発したオープンモデル「GLM-5.2」を自社サーバーで動かし、分析を終えた。

◆ 韓国はどこに立つのか

オープンモデルをめぐるセキュリティー論争は、韓国にとっても重要な問題だ。米国企業は、強力なサイバー攻撃能力を持つ非公開AIモデルを、限定的に提供している。

アンソロピックが4月に立ち上げたプロジェクト・グラスウィングも、当初は米国の主要テクノロジー企業を中心に運営されていたが、その後、サムスン電子やSKハイニックス、SKテレコムなど韓国企業にも参加範囲が広がった。

一方、中国のZ.aiが公開したGLM-5.3は、韓国でも重みをダウンロードして利用できる。

オープンモデルは研究や産業利用の機会をもたらす一方、セキュリティー上のリスクも抱えている。韓国も独自AIモデルの開発と並行して、公開範囲や安全性、活用方法を検討する必要がある。

技術競争力を高めることと同じくらい、誰もが利用できるAIをどれだけ安全に運用するかが重要になっている。