BrowseComp：AIエージェントがまだできないこと、そしてその重要性を示すベンチマーク
はじめに：なぜブラウジングがAIの次のフロンティアなのか
OpenAIがひっそりとBrowseCompを公開したとき、それは単なるリーダーボード競争の追加ではありませんでした。BrowseCompは、AIエージェントがオンラインで難しい情報を見つける能力をテストするために設計されたオープンソースのベンチマークであり、AI分野全体への挑戦状なのです。
マルチモーダル推論、自律エージェント、検索拡張生成（RAG）が急速に進歩しているにもかかわらず、ほとんどの大規模言語モデル（LLM）は、一見単純なタスクに直面するとうまくいきません。それは、インターネット上で曖昧だが検証可能な事実を、迅速かつ確実に探し出すことです。
検索拡張生成（RAG）は、大規模言語モデル（LLM）の出力を強化するために設計されたAI技術です。まず、外部データソースから関連情報を検索し、その情報をLLMに供給して、より正確で文脈に合った応答を生成します。
BrowseCompは、この弱点を表面化するように設計されました。そして、実際にそうしています。オープンな対話型AIだけでなく、専門的なブラウジングエージェントにとってもそうです。
舞台裏では、その影響はさらに大きくなります。もしあなたのAIモデルがBrowseCompの問題を解決できない場合、それは持続的で、文脈が豊富で、複数ホップの情報収集が当たり前の世界では生き残れない可能性が高いでしょう。市場調査の自動化から、競争情報ワークフローにおけるアナリストの代替まで、幅広い分野に影響します。
BrowseCompが実際にテストするもの：その違い
まず、BrowseCompが何でないかを明確にしましょう。
- これはトリビアテストではありません。
- これはWikipediaの事実を暗記することではありません。
- これは会話スキルや自由形式の生成を測定するものではありません。
BrowseCompは代わりに、1,266個の正確に作成された、難易度の高い調査タスクを提示します。各タスクには、検証は容易だが、見つけるのが難しい短い事実に基づいた回答があります。この非対称性が意図的なのです。OpenAIはそれを「検証の非対称性」と呼んでおり、厳密なスコアリングと現実世界のシミュレーションの両方の鍵となっています。
「検証の非対称性」と呼ばれる魅力的な概念があることをご存知ですか？これは、答えや解決策を見つけることが信じられないほど難しく、多大な努力と創造性を必要とする一方、その正しさを検証することは驚くほど簡単な状況を表しています。この現象は、鍵の生成は難しいが検証は迅速な暗号化から、普遍的な主張を証明することは難しいが反証することは簡単な科学理論まで、さまざまな分野で見られます。検証の非対称性は、発見と検証の間の興味深い不均衡を強調し、AI開発、経済学、さらにはパズル解決などの分野に影響を与えています。
例： 「文化的な伝統、科学的なプロセス、料理の革新について議論している、2023年6月以前に発表された研究論文を特定してください。その論文は、西ベンガル州の助教授と、博士号を持つ人物によって共同執筆されました。」 答え： The Fundamentals of Bread Making: The Science of Bread（パン作りの基本：パンの科学）。
これをGoogleで10分以内に見つけてみてください。
AIベンチマークは、さまざまな人工知能モデルの性能を評価および比較するために設計された標準化されたテストです。AIの能力を客観的に測定し、分野の進捗状況を追跡するための、一貫したタスク、データセット、指標を提供することで、重要な役割を果たします。
方法論：逆転の発想による難易度設計
自然なユーザーのクエリやランダムなサンプルから構築された典型的なベンチマークとは異なり、BrowseCompの問題はリバースエンジニアリングされています。その仕組みは次のとおりです。
- 事実をシードする — トレーナーは、既知の情報（人物、イベント、論文など）から始めます。
- 逆転した質問を設計する — 彼らは、伝記的なヒント、イベントのタイムライン、学術的な所属などの詳細の層の背後に答えを隠します。
- 還元不可能性をテストする — トレーナーは、以下を確認します。
- 答えは、最初の5つの検索結果には見つかりません。
- GPT-4o（ブラウジングの有無にかかわらず）、OpenAI o1、および初期のエージェントモデルは、それを解決できません。
- 人間の専門家は、それを解読するのに10分以上（多くの場合2時間以上）かかります。
難易度と検証可能性を制御することで、OpenAIは単に挑戦的なだけでなく、戦略的な検索、推論、および粘り強さを測定するベンチマークを構築しました。これらは、ビジネス、研究、または重要なシステムに展開される、あらゆる真剣なAIエージェントに必要なスキルです。
人間のベンチマーク：これらが本当に難しいことの証明
難易度を検証するために、OpenAIはその人間のトレーナーに目を向けました。質問を作成したのと同じ人々ですが、自分自身で解決することは禁じられています。ChatGPTも、Claudeも、Geminiもありません。オープンなウェブだけです。
1,255のタスクからの結果：
- **わずか29.2％**の質問が、2時間以内に人間によって正常に解決されました。
- **888個の問題（70.8％）**は、その時間枠内で「解決不可能」とマークされました。
- 解決された367個のうち、**86.4％**が参照回答と一致しました。
これは重要です。なぜでしょうか？
BrowseCompが単に暗記や総当たり検索を測定するだけでなく、今日のモデルが習得するにはほど遠い、人間のような調査推論の形式を調査することを示しているからです。
パフォーマンスの内訳：ブラウジングツールだけでは不十分
では、トップレベルのAIエージェントはどのように機能したのでしょうか？
| モデル | ブラウジング機能 | 精度（％） |
|---|---|---|
| GPT‑4o | ❌ | 0.6% |
| GPT‑4o + ブラウジング | ✅ | 1.9% |
| GPT‑4.5 | ❌ | 0.9% |
| OpenAI o1 | ❌ | 9.9% |
| Deep Research | ✅（ファインチューニング済み） | 51.5% |
AI投資家と開発者にとっての主なポイント：
- モデルに検索戦略と推論が欠けている場合、ブラウジングアクセスは非常に限られたメリットしか追加しません。
- o1（ブラウジングなし、強力な推論）は、ブラウジングありのGPT-4oよりも優れています。推論は生の検索に勝ります。
- Deep Researchが圧倒的に優れています—しかし、それはBrowseCompと同様のタスクで明示的にトレーニングされました。そのパフォーマンスは上限であり、ベースラインではありません。
あなたの製品またはエージェントがブラウジング機能を使用している場合、このベンチマークは警鐘となるはずです。今日のほとんどのブラウジング対応モデルは、総当たり戦なしに複雑なクエリに取り組むために必要な戦略的インテリジェンスを単純に持っていません。
コンピューティングが重要：スケーリングの試みはより良い結果をもたらします
BrowseCompの問題は、十分な計算能力があれば解決できることがよくあります—ただし、モデルがいつ正しいかを知っている場合に限ります。OpenAIは、Deep Researchが1つの質問あたり複数の回答を送信できる場合に、どの程度うまく機能するかをテストしました。
- 質問あたり64サンプル
- 集約方法：
- Best-of-N（信頼度スコアに基づく）
- 加重投票
- 多数決
リサーチ精度に対するコンピューティングスケーリングの影響
| 戦略 | タスク | 影響 | ソース |
|---|---|---|---|
| テスト時のコンピューティング | BrowseComp | パフォーマンスはブラウジングの努力によって向上 | OpenAI |
| Best-of-N | BrowseComp | 単一試行よりも15〜25％の改善 | OpenAI |
| Best-of-N | 一般的なLLMタスク | 大幅な向上、RLを上回る場合もある | OpenAI |
| ステップバイステップ思考 | 複雑な推論 | 71％の精度（15.6％から上昇）、多数決では86.7％ | Hugging Face |
| ペアワイズRM + ノックアウト | MATH-500、オリンピアード | 最も難しい問題で40〜60％の改善 | Hugging Face/ArXiv |
| プレトレーニングコンピューティング | GPQA Diamond | コンピューティングが10倍になるごとに〜12パーセントポイント | Epoch AI |
| 合成データ | 一般的なML | 不均衡なデータセットのパフォーマンスを向上 | Various |
Best-of-Nが勝利し、単一試行よりも15％〜25％精度が向上します。これは、Deep Researchがしばしば正しい答えを得たことを知っていることを示しています—そこに到達するための時間と計算能力が必要なだけです。
企業および製品戦略の観点からは、これは以下への移行をサポートします。
- 信頼度認識エージェント：彼らは自分自身の出力を自己評価できます
- テスト時の計算能力のスケーリング：パフォーマンスはリソースとともに向上します
これは、CTOとAI製品リーダーにとって本質的な質問を提起します。あなたエージェントは計算効率が高いですか？ 自己採点できますか？ 信頼度が低い場合に再試行する必要がありますか？
市場シグナル：これはエージェントAIの未来にとって何を意味するのか
BrowseCompは単なるベンチマークではありません。AIが静的なツールから動的なエージェントにどのように移行するかをレンズを通して見たものです。そしてそうすることで、投資家と構築者のためにいくつかのマクロトレンドを示しています。
エージェントAIの主要な側面（その特徴、仕組み、アプリケーション、利点、および倫理的考慮事項を含む）をまとめた表。
| 側面 | 説明 |
|---|---|
| 定義 | 自律的に行動し、意思決定を行い、最小限の監督で目標を達成するように設計されたAIシステム。 |
| 主な特徴 | 自律性、適応性、目標志向、および文脈の理解。 |
| 仕組み | 機械学習、自然言語処理、および複雑な問題を解決するための推論を使用。 |
| アプリケーション | パーソナルアシスタント、自動運転車、ヘルスケア、およびビジネスオートメーション。 |
| 利点 | 構造化されていない環境で動作します。動的なシナリオに適応します。生成AIの有用性を拡張します。 |
| 倫理的考慮事項 | 説明責任と透明性に関する懸念を引き起こします。安全な使用のための倫理的ガイドラインが必要です。 |
1. ハイブリッドエージェントの時代が到来
純粋なブラウジングは効果がありません。純粋な推論だけでは十分ではありません。最高のエージェントは、内部推論とスマートなツール使用をブレンドし、アプローチを動的に適応させます。
2. ベンチマークがイノベーションを推進
CodeforcesがAIコード生成を形作ったように、BrowseCompはエージェント的な行動の研究を形作ります。研究所は以下を行うと予想されます。
- 逆スタイルの検索タスクでモデルを明示的にトレーニングする
- クエリ全体で持続し、適応するモデルを優先する
3. 信頼度駆動アーキテクチャが勝利する
自分自身が正しいかどうかを内部的に判断できるモデルは、支配する態勢を整えています。これにより、以下が可能になります。
- 再試行ループ
- 確信がある場合の自己終了
- Best-of-Nのような集約戦略
4. タスク固有のエージェントトレーニングが加速する
汎用エージェントはパフォーマンスが低下します。この正確なタスクで優れているように構築されたDeep Researchは、GPT-4oを25倍以上上回りました。垂直固有のファインチューニングは、競争力のあるエージェント展開への短期的な道筋となる可能性があります。
5. 検証優先の評価は戦略的な利点
答えを見つけるのが難しいが検証が簡単なベンチマークは、企業統合をはるかに容易にします。これは、次のセクターにとって不可欠です。
- 法務調査
- 財務デューデリジェンス
- 学術的な合成
- 競争情報
BrowseCompはAIリサーチエージェントの未来のストレステスト
BrowseCompは派手ではありません。巧妙な言葉遊びや流暢な生成を評価しません。代わりに、はるかに永続的なもの、つまり不確実性下での戦略的な情報探索をターゲットにしています。それは、実際の調査を行い、洞察を推進し、または自律的なワークフローを強化するために信頼される、あらゆるAIエージェントの基礎です。
OpenAIがBrowseCompを「不完全だが有用」として率直にフレーム化することは、まさに長期的な信頼性をもたらすものです。すべてのユーザーのクエリをシミュレートするふりをせず、困難で、十分に測定されていないスキルを分離します。それは、簡単に見つけられないものを見つける能力です。
AIツールを構築または支援している技術者、投資家、および幹部にとって、これは次の戦場です。誰がうまくチャットできるかだけでなく、誰が深く掘り下げ、曖昧さを乗り越えて推論し、騒々しいウェブの中に隠されたシグナルを見つけることができるかです。