AI研究エージェント、LLMの脆弱性に関するACL 2025論文で歴史的快挙を達成
人工知能にとって画期的な瞬間、自律型研究エージェントが一流科学会議に採択される論文を執筆し、AIのセーフガードにおける重大なセキュリティ上の欠陥を露呈
IntologyAIが開発した人工知能研究エージェント「Zochi」が、計算言語学協会2025年会議（Association for Computational Linguistics 2025 conference）に採択された科学論文を、自律型AIシステムとして初めて独立して執筆した。同会議は、この分野で最高レベルの査読付き学会として広く認識されている。
「Tempest: Tree Searchによる大規模言語モデルの自動多段階ジェイルブレイク」と題されたこの画期的な論文は、AIの能力における単なるマイルストーンではない。一見安全に見える言語モデルが、複数回の会話を通じていかに体系的に侵害されうるかを実証し、AI安全性コミュニティに衝撃を与えた。
主要なAI倫理研究者は、「真に前例がないのは、AIシステムが科学的発見に参加するだけでなく、それを自律的に推進しているのを目の当たりにしていることだ」と述べた。「問題の特定から実装、文書化に至る研究パイプライン全体が、人間の介入なしに完了したのだ。」
AI安全性の「アキレス腱」
「Tempest」の発見は、現在のAI安全性対策に懸念すべき状況を示している。Zochiが開発したこのフレームワークは、OpenAIのGPT-3.5-turboに対しては100%の攻撃成功率を達成し、より高度なGPT-4モデルに対しても97%の成功率を記録した。さらに厄介なことに、これは驚くべき効率性で達成され、従来の60回以上のクエリが必要だったのに対し、わずか44～52回のクエリで済んだ。
「Tempest」のアプローチの核心は、対話ベースの脆弱性を体系的に探索できる高度なツリー探索手法にある。単一回のやり取りに焦点を当てていたこれまでの研究とは異なり、「Tempest」は、AIの安全バリアが複数回の会話を通じていかに徐々に侵食されるかを明らかにしている。
この研究に詳しいセキュリティ専門家は、「この論文は、AIの安全性を評価する方法における根本的な脆弱性を露呈している」と説明した。「単一ターンの安全性テストを難なくクリアするモデルでも、段階的に境界を押し広げる複数ターンの対話に晒されると、体系的に侵害されうるのだ。」
この手法は、Zochiが「部分的遵守」と呼ぶものを追跡する。これは、AIシステムが安全プロトコルを遵守しているかのように見せかけながら、制限された情報の一部を漏洩するケースを指す。この段階的な侵食は、時間の経過とともに壊滅的な影響を及ぼし、会話のターンを重ねるごとに安全性の劣化が蓄積していく。
学術的発見から業界への影響まで
査読プロセスはZochiの研究の重要性を裏付けた。査読者からは8点、8点、7点という評価が与えられ、これはトップレベルの機械学習会議における採択基準である6点を大幅に上回るものだった。査読者はこれを「効果的で直感的な手法」であり、「既存のAI防御戦略の再評価」が必要であると称賛した。
大規模言語モデルを開発・展開するテクノロジー企業にとって、「Tempest」は技術的な課題であると同時に市場の変曲点でもある。この研究は、現在の安全性対策が高度な複数ターン攻撃に対して不十分であることを示唆しており、より動的な安全性フレームワークへの移行を促す可能性がある。
AI安全性に関する進展を追跡している業界アナリストは、「我々は新たなセキュリティパラダイムの誕生を目の当たりにしている可能性が高い」と述べた。「静的なフィルターや事前定義されたガードレールだけではもはや十分ではない。未来は、これらの段階的な境界テスト戦略をリアルタイムで特定し、対応できる適応型システムのものである。」
経済的な影響は甚大になる可能性があり、専門家は「AIセキュリティ監査」サービスや、より堅牢な安全性機能に対するプレミアム価格帯の出現を予測している。企業は、モデルのサブスクリプションだけでなく、AI予算の20～30%を継続的な安全性監視に割り当てる必要があるかもしれない。
自動化された研究革命
セキュリティ上の影響を超えて、Zochiの功績は科学研究そのものの実施方法に潜在的な変革をもたらす可能性を示唆している。従来のAI研究システムが通常「2D拡散モデルやトイレベルの言語モデルのような比較的制約された問題」に取り組んでいたのとは異なり、Zochiは「オープンエンドな課題に取り組み、斬新で検証可能な最先端の手法を提案した」。
このような自律的な科学的発見能力は、複数の分野で研究を加速させる興味深い可能性を提起している。一部のベンチャーキャピタル企業は、論文発表数や特許出願数によって投資収益率を評価し、AIエージェントの研究開発チームへの直接投資を検討していると報じられている。
あるベンチャーキャピタリストは、背景を語る形で「研究プロセスそのもののコモディティ化が次のフロンティアとなる可能性がある」と述べた。「人間が働く時間や認知能力の制約を受けることなく、専門化されたAIエージェントの群れが分野を横断して出版可能な知的財産を継続的に生み出すことを想像してみてほしい。」
迫りくる規制上の課題
「Tempest」の成功は、複雑な規制上の問題も予見させる。あるAIエージェントが別のAIシステムを侵害する方法を発見した場合、誰が責任を負うのか？Zochiの開発元であるIntologyAIは、これらのジェイルブレイクを可能にしたことについて責任を問われるべきなのか？
規制専門家は、医療や金融のような機密性の高い分野において、義務的なAIセキュリティ監査への圧力が強まると予測しており、これにより新たな種類のコンプライアンス要件とそれに伴うコストが発生する可能性がある。
ある規制専門家は、「我々は、AIシステムが同時に脆弱性を特定し、エクスプロイトを開発し、そして潜在的に防御策を構築するという、未開の領域に入りつつある」と指摘した。「我々の法的枠組みは、このレベルの自律的な技術進歩に対応できていない。」
これからの軍拡競争
「Tempest」の手法がより深く理解されるにつれて（コードと論文はそれぞれGitHubとarXivで公開されている）、攻撃者と防御者の双方がその知見を取り入れ、AI安全性における敵対的な軍拡競争が加速する可能性が高い。
この研究は、将来の競争がモデルのサイズや学習データから、ある専門家が「安全速度」と呼ぶもの、すなわちメタAIエージェントによって発見された新たな攻撃ベクトルをシステムがいかに迅速に検知し、無力化できるか、へと移行する可能性を示唆している。
あるセキュリティ研究者は、「『Tempest』は単なる論文ではない。AIシステムが他のAIシステムを評価し、悪用し、そして防御する新時代のマニフェストだ」と述べた。「最も賢い防御者は、究極的には最も賢い攻撃者よりも速く学習するAIとなるかもしれない。」
今のところ、Zochiの達成は技術的勝利であると同時に警告の物語でもある。AIがコンテンツを生成するだけでなく、自らの脆弱性に関する科学的理解を自律的に進めた画期的な瞬間だ。その影響は、今後何年にもわたって研究室、企業の役員会、規制機関に波及するだろう。
これがより安全なAIエコシステムの幕開けを意味するのか、それともますます高度化する敵対的課題の始まりを意味するのかは、まだ定かではない。しかし、「Tempest」が自律型AIシステムが何を達成できるかという我々の理解を、良くも悪くも根本的に変えたことは確かである。