SimpleQAとは｜AI事実性ベンチと単体・ツール込みスコアの読み方

この記事でわかること

SimpleQA は、AI が「知らないことを、知らないと言えるか」を測るために OpenAI が 2024 年 10 月に公開した 4,326 問の事実性ベンチマークです。GPT-4 系モデル 4 つを事前に走らせて誤答したものだけを採用した、敵対的な問題設計になっています12。

作られた理由はシンプルで、それまでの QA ベンチマーク（TriviaQA や Natural Questions）がフロンティアモデルに簡単すぎて飽和したからです1。SimpleQA は「わからないと素直に棄権する」ことに得点を与える設計で、単なる正答率ではなくハルシネーション抑制を測ります。

そして 2026 年 7 月時点でスコアは大きく伸びました。単体モデルでは Gemini 3 Pro が SimpleQA Verified で 72.1%、ツール込みでは DeepSeek V3.2-Exp が 97.1% まで到達しています1213。ただし、この 2 つは軸が完全に別で、混同して読むと意思決定を誤ります。

この記事では、次の 5 つを順番に見ていきます。

1. SimpleQA の定義と背景（誰が、なぜ、どう作ったか）
2. 4 つの指標と F1 スコアの読み方（「わからない」に価値がある仕組み）
3. モデル世代別のスコア推移（GPT-4o から DeepSeek V3.2 まで）
4. 派生ベンチマーク（Japanese / Chinese / KoSimpleQA、SimpleQA Verified）と実務チェックリスト
5. SimpleQA 以降の AI 事実性評価と Snorbe でのモデル選定ループ

読み終える頃には「単体スコアとツール込みスコアは別軸で並べる」「hallucination rate と abstention rate も同時に見る」といった、AI 導入判断に直結する読み方が身につきます。

SimpleQA とは何か。OpenAI が 2024 年 10 月に公開した 4,326 問の事実性テストです

まず SimpleQA を一言で押さえておきましょう。

SimpleQA は、AI が「知らないことを、知らないと言えるか」を測るために OpenAI が公開した 4,326 問のベンチマークです。

正式名称は Simple Question Answering。ただ「単純な質問応答」ではなく、AI のハルシネーション（もっともらしいウソ）を測ることを狙って敵対的に集めた問題群、というのが最大の特徴です1。

このセクションでは、SimpleQA が誰の手で、どんな目的で、どうやって作られたのかを見ていきます。ここを押さえておくと、後のスコア推移やモデル比較の話が「そういうことか」とスッと入ってきます。

誰が作ったか。OpenAI の Jason Wei らのチーム

SimpleQA を公開したのは OpenAI です。公式ブログ「Introducing SimpleQA」が公開されたのが 2024 年 10 月 30 日、続いて arXiv 論文「Measuring short-form factuality in large language models」が 2024 年 11 月 7 日に投稿されました12。

主著者は Jason Wei さんら。ライセンスは MIT で、コードとデータセットは GitHub の openai/simple-evals リポジトリで完全公開されています3。CSV ファイルとして誰でもダウンロードでき、手元の GPU で自分のモデルを評価することも可能な設計です。

「AI のベンチマークを作った会社が、自分たちのモデルを厳しく採点するテストを自ら公開する」という構図がまず面白いところですね。

なぜ作ったか。旧世代の QA ベンチマークが飽和したから

SimpleQA が生まれた背景を理解するには、ベンチマーク飽和という現象を押さえておく必要があります。

QA（Question Answering、質問応答）系のベンチマークは、TriviaQA が 2017 年、Natural Questions が 2019 年に登場した「AI の一般常識テスト」でした。ところが 2023 年頃から、GPT-4 や Claude 3 Opus のようなフロンティアモデルはこれらでほぼ満点を取れるようになってしまいます1。

学校のテストで全員が 100 点を取ると、成績表で順位がつけられませんよね。同じことが AI ベンチマークで起きていたんです。

OpenAI はブログでこう述べています。

「新世代のフロンティアモデルの弱点を測るには、より難しい事実性ベンチマークが必要でした」1

そこで、「AI が自分の知らないことを、知らないと言えるか（キャリブレーション）」を測ることに絞った SimpleQA が作られました。単に「知っているか」ではなく、「知らないときに知ったかぶりせず、素直にわからないと言えるか」まで含めて測る、というのが設計思想の中核です。

どうやって問題を集めたか。GPT-4 系4モデルを事前に敵対的に走らせた

SimpleQA の作り方は、正直かなり手が込んでいます2。

• 全問が 「答えが 1 つに定まる」「時間で答えが変わらない」「短文回答」「AI トレーナー 2 人が独立に正解合意した」問題
• GPT-4 系モデル 4 つに事前に解かせて、少なくとも 1 つが誤答する問題だけを採用（敵対的フィルタリング）
• 2023 年 12 月 31 日までの世界知識で答えられる問題に限定

一番のポイントは 2 つ目です。集まった問題を 当時の最強クラス LLM に事前に解かせて、間違えたものだけを残す。だから公開時点で、GPT-4o でも 40% 台、Claude 3 Opus で 30% 前後しか取れませんでした2。

「新モデルでも間違えそうな問題」を狙って集めた、というわけです。この設計思想が、SimpleQA が短時間で業界標準の一角になった理由の 1 つです。

問題の中身。Wikipedia 3,500 問と多様なトピック

集まった 4,326 問の内訳を見てみます2。

情報源は Wikipedia が 3,500 問と大半を占め、fandom.com が 410 問、大学ドメイン（ac.uk）が 154 問、映画データベース（IMDb）が 121 問。「Wikipedia に載っている事実を、素直に思い出せるか」がベースにあります。

回答型は日付が 32.8%、人物が 24.1%、数値が 15.3%、場所が 9.9%、その他が 18.0%。トピックは科学・技術 858 問、政治 709 問、芸術 550 問が上位です。

「日付や人物名を思い出す」タイプの短文回答が中心で、長い論述は含まれません。SimpleQA という名前は「単純な質問」を意味しますが、実際には「答えは短いが、モデルが記憶しているかどうかがシビアに問われる」設計だったんですね。

two-trainer agreement 94.4% と内在エラー率 3%

問題の品質検証も念入りです2。

完成後に無作為 1,000 問を 第 3 のトレーナー（別の人間）に解かせ、grader（採点者）の判定と既存の合意回答を突き合わせたところ、94.4% が一致しました。残り 5.6% を人手で追跡すると、そのうち約半分（2.8%）は grader の見落としやトレーナーの手違い、残り 2.8% が真の問題（曖昧、複数正解、情報源間の矛盾）だったといいます。

つまり SimpleQA の内在エラー率は約 3%。「ベンチマーク自体が完璧ではない」という自覚は、後の Google DeepMind による SimpleQA Verified の登場につながっていきます（この話は第 4 セクションで詳しく扱います）。

中学生向けにたとえると。ものすごく難しい社会科の一問一答

ここまで読んで難しく感じた方向けに、中学生でもわかるたとえで言い換えてみます。

SimpleQA は、「答えが 1 つに決まる、難しい一問一答クイズ」を 4,326 問集めたテストです。「1985 年のアカデミー賞監督賞は誰？」「ハチドリのある種子骨に支えられている腱の数は？」といった、答えを知らないと答えられないタイプの問題ばかりが並んでいます。

普通のクイズ大会と違うのは、「知らないときに『わかりません』と答えると点数が引かれない」というルールがあることです。適当に答えて当たれば加点、外れれば減点。「わからない」で棄権すれば加点も減点もなし。

だから AI にとっては、「なんとなくで答えて外すよりも、素直にわからないと言うほうが得」なテスト設計になっています。次のセクションで、この採点ルールを詳しく見ていきます。

4 つの指標と F1 の設計。「わからない」と言うことが評価される仕組み

SimpleQA を初めて触るときに一番戸惑うのが、採点方式です。

普通のテストなら「正解率」1 つで済むはずですが、SimpleQA は 3 種類の分類と 2 種類の集約指標を組み合わせて、モデルの「事実性」と「棄権の誠実さ」を同時に測ります。ここを理解しておくと、後のスコア比較で「なぜ同じモデルでも数字が違うのか」がわかるようになります。

3 つのクラス。Correct / Incorrect / Not attempted

SimpleQA の grader（採点者）は、AI の回答を次の 3 つのクラスに分類します23。

• Correct（正解）：AI の回答が gold target（正解）を完全に含み、矛盾しない
• Incorrect（不正解）：AI の回答が gold target と矛盾する（曖昧な言い方でヘッジしていても不可）
• Not attempted（棄権）：gold target を完全には含まないが矛盾もしない（「わかりません」系の応答）

面白いのは 3 番目の Not attempted です。「知らない」「確信が持てない」「情報がない」と正直に言った場合、Incorrect にはならず、この Not attempted に分類されます。

grader そのものは ChatGPT ベースの分類器で、A（正解）/ B（不正解）/ C（棄権）の 3 択を返します3。プロンプトのテンプレートには、Barack Obama の娘（Malia と Sasha）を例題にした CORRECT 例文 6 種、INCORRECT 例文 6 種、NOT_ATTEMPTED 例文 4 種が並んでいて、grader に「こういう境界線で判定してね」と教える設計になっています。

2 つの集約指標。Correct given attempted と F1

3 クラスの数値が決まったら、次に 2 つの指標を計算します23。

1. Correct given attempted（回答した中での正解率） = correct ÷ (correct + incorrect)
2. F-score（F1） = overall_correct と correct_given_attempted の調和平均

openai/simple-evals の実装コードでは、次のようになっています3。

aggregate_metrics["is_given_attempted"] = is_correct + is_incorrect
aggregate_metrics["accuracy_given_attempted"] = is_correct / is_given_attempted
output_d["f1"] = 2 * accuracy_given_attempted * is_correct / (accuracy_given_attempted + is_correct)

F1 が業界標準として使われる主要指標です。この設計により、単に「たくさん当てる」だけでは高いスコアが取れない仕組みになっています。

なぜ「わからない」に価値があるのか。ハルシネーション率の抑制

ここが SimpleQA の一番のポイントです。

OpenAI ブログにはこんな例が示されています1。

「常に回答して 30% 正解のモデルは F=30%、correct-given-attempted 80% のモデルが overall-correct 19% なら F=30%」

つまり、推測を止めて「わかりません」と正直に言うと accuracy は下がるが、ハルシネーション率（誤答率）は下がる、というトレードオフを可視化するのが SimpleQA の狙いなんです。

論文の Appendix B にはさらに踏み込んだ指摘があります2。「50% 以上の自信があれば guessing（推測）が期待 F-score を上げる loophole がある」と。逆に言えば、それ未満の確信度で答えるのは損。「知っていることだけ答え、あやふやなら黙る」という戦略が数字上も正しい、と設計で証明したわけです。

OpenAI 自身の反省。GPT-5 と o4-mini のハルシネーション率比較

この設計思想が最も強烈に効いた例が、2025 年 9 月に OpenAI ブログ「Why language models hallucinate」で示された比較データです4。

GPT-5 System Card から引用された数値がこちら5。

読み取り方はこうです。o4-mini は accuracy でわずか 2 ポイント勝っているが、ハルシネーション率は約 3 倍（75% 対 26%）。gpt-5-thinking-mini は問題の半分以上を「わかりません」と棄権していて、その代わりに答えたときの信頼性が高い。

OpenAI 自身が「accuracy-only の leaderboard が推測を奨励し、開発者にハルシネートするモデルを作らせる」と自らのブログで書いた4、というのは AI 業界ではかなり珍しい反省文でした。この背景を知ると、Anthropic が Claude Opus 4.6 で net score（正答 − 誤答） を primary metric に格上げした流れも理解しやすくなります6。

実装の細かい話。数値と名前の許容ルール

grader プロンプトには、細かい判定ルールも織り込まれています3。

• 数値回答は gold answer の最終有効桁まで正しい必要（例：120k に対し 115k は正解、100k は不正解）
• 名前の綴りミスは明らかに同一人物なら許容
• 質問文から自明な情報の省略は罰しない

grader は ChatGPT ベースなので、こうしたニュアンスを自然言語の判定ルールとして書き込めるのが実装上の強みです。ただし裏返せば、grader モデル自体のバージョンが変わると判定基準もわずかにブレるリスクもあります。同じモデルで測ってもリーダーボード間で数値が違うことがあるのは、この grader の実行環境の差も一因です。

中学生向けにたとえると。「知ったかぶり禁止」ルールの一問一答

ここまでを中学生でもわかる形で言い換えます。

SimpleQA は、「知らないときは正直に『わかりません』と言えば減点しないよ」というルールを設けた一問一答テストです。

普通のクイズなら「わからないから適当に答える → 当たればラッキー、外れれば減点なし」で得しますよね。SimpleQA はこれを許しません。わかっているときだけ答える、あやふやなときは黙る。この戦略のほうが最終スコア（F1）が高くなるように、点数の付け方が設計されています。

だから同じ AI モデルでも、「攻めて推測する派」と「わからないなら黙る派」で数字がまったく変わってきます。次のセクションで、実際にどの AI モデルがどんなスコアを出しているのか、時系列で並べてみます。

モデル世代別スコアのタイムライン。GPT-4o の 38% から DeepSeek V3.2 の 97% へ

ここはこの記事の中核です。

SimpleQA が公開された 2024 年 10 月から今日までの約 1 年 9 か月で、モデル別スコアがどう変わってきたのかを時系列で並べます。「単体スコア」と「ツール（検索）込みスコア」の 2 系統を分けて見ていきます。この 2 つを混同すると、リーダーボードの読み方を間違えてしまいます。

論文リリース時点。GPT-4o の 38.2% がスタートライン（2024-11）

SimpleQA 論文の Table 3 が、公開時点の最強クラスモデルのスコアです2。

この時点で GPT-4o が F1 で 38.4%、Reasoning モデル初参戦の o1-preview が 44.8% で最強でした。目を引くのは Claude 系の Not attempted 率の高さです。Claude 3 Haiku と Sonnet は問題の 75% を「わからない」と棄権していて、答えたときの正答率で見れば 20% 台に留まっています。

一方で GPT-4o-mini は棄権率 0.9% で、90% を「間違えるかもしれないが答える」戦略でした。ハルシネーション率で見れば GPT-4o-mini のほうが Claude 3 Haiku より明らかに高い、という構図がはっきり見えます。

OpenAI 各世代の推移。GPT-4.5-preview の 62.5% が単体最高（2025）

SimpleQA 公開後、OpenAI は各モデルの System Card や simple-evals README で継続的にスコアを開示してきました378。

GPT-4.5-preview の 62.5% が、外部ツールを使わない単体モデルとしての OpenAI 系最高スコアです3。GPT-5-thinking の 55% がそれに次ぎます。

意外なのは o4-mini の 20% で、o3 の 49% から半分以下に落ちていること。System Card の同表には「hallucination rate 75%」と併記されていて5、「小型モデルが推測で走った結果、事実性で大きく劣った」という典型例になっています。

Anthropic Claude の姿勢変化。3 段階のシフト

Anthropic は SimpleQA との付き合い方を 3 段階でシフトさせてきました。この動きを追うと、AI 事実性評価の歴史そのものが見えてきます9106。

第 1 段階：一切公表しなかった（Claude 3 〜 4 世代）

Claude 3 / 3.5 / 3.7 / 4 世代のモデルカード・システムカードでは、SimpleQA スコアが一切公表されていません9。

Anthropic は代わりに、内製の 100Q Hard（100 問の難問手書き QA、Opus で 46.5%）と Multi-factual（62.8%）を採用していました。「Correct / Incorrect / IDK」の 3 分類を推奨する、SimpleQA と似た設計思想の独自ベンチを持っていたのです。

第 2 段階：Claude Sonnet 4.5 で公式採用（2025-09）

Claude Sonnet 4.5 System Card で、Anthropic は初めて OpenAI SimpleQA を公式採用しました10。例題として「2010 年 5 月 23 日の Champions League 決勝で Inter の犯したファウルは何回？」といった実際の問題が掲載されています。

「他社ベンチマークは一切採用しない」という姿勢からの転換、という意味で節目でした。

第 3 段階：Opus 4.6 で net score に格上げ（2026-02）

さらに Claude Opus 4.6 System Card では、net score（正答 − 誤答）を primary metric に格上げしました6。

Anthropic の説明はこうです。「guess を打つほど正答も誤答も増えるため、abstain（棄権）に報酬を与える net score が有意味」。

これは、前セクションで見た OpenAI 自身の反省（accuracy-only は推測を奨励する）と同じ結論に、独立に到達したものと読めます。SimpleQA 系ベンチマーク全体が、「単純な正答率」から「棄権を含めた誠実さ」に評価軸を寄せていく流れが 2026 年に定着した、というのが現在の景色です。

Google Gemini と DeepSeek。単体スコアが 70% を超える時代へ

OpenAI と Anthropic 以外のトップ勢もスコアを開示してきました111213。

Gemini 2.5 Pro が SimpleQA Verified F1 55.6 で当時 SOTA、Gemini 3 Pro が Verified 72.1% で 2025 年後半のトップに立ちました1112。「単体モデルで 70% 超え」という新しい局面に入っています。

DeepSeek R1 は Chinese SimpleQA も同時に載せた稀有な事例で、R1 が SimpleQA で V3 を上回った代わりに、Safety RL の副作用で Chinese-SimpleQA では回答拒否が増えて V3 に負けた、という非対称性が論文に明記されています13。

ここが分岐点。単体とツール込みは別軸で並べる

ここが今回一番伝えたいポイントです。

今日時点のリーダーボードで SimpleQA 90% 超を叩き出しているモデルを並べると、こうなります13141516。

これらはすべて「モデル本体 + 検索・ツール」の複合スコアです。単体モデルの上位（GPT-4.5-preview 62.5、Gemini 3 Pro Verified 72.1）と比較すると、25 〜 35 ポイントの差があります。

これが何を意味するかというと、同じ「SimpleQA スコア」でも、モデル本体の知識を測っているのか、検索エージェント込みの性能を測っているのか、軸そのものが別だということです。

Perplexity や Felo が「SimpleQA スコア 90% 超」を自社のマーケティングで前面に押し出すのは、この事情を理解した上での戦略的な表現です。「うちの検索エージェントは事実性が高い」を客観指標で示せる、という強みは確かにあります。ただし、記事の読者がこれをそのまま「Perplexity の言語モデル本体が GPT-5 より 40 ポイント優秀」と読んでしまうと、大きな誤解につながります。

タイムライン一枚で見る全体像

ここまでの流れを、日付順に 1 枚にまとめると、こうなります。

「単体スコアは 60 〜 70% で伸び悩み、ツール込みは 90% 超が量産される」というのが、今日時点の景色です。この二重構造を踏まえたうえで、次のセクションでは派生ベンチマークと、実務で SimpleQA スコアをどう読めばいいのかを見ていきます。

派生ベンチマークと実務での使い方。SimpleQA Verified、Japanese SimpleQA、そしてチェックリスト

SimpleQA の広がりは、本家 4,326 問だけで終わりません。

公開から 1 年半のあいだに、中国語版・日本語版・韓国語版・改善版が次々に登場しています。このセクションではその主要 4 種を整理したうえで、実務で SimpleQA スコアを使うときのチェックリストにつなげていきます。

SimpleQA Verified：Google DeepMind による「品質改善版」

まず押さえておきたいのが SimpleQA Verified です1718。

• 公開：Google DeepMind、2025 年 9 月（arXiv 2509.07968）
• 規模：本家 4,326 問から 1,000 問に絞り込んだ高信頼サブセット
• 改善点：重複排除、トピックバランシング、ソース照合、autorater プロンプトの改善

第 1 セクションで触れた「本家 SimpleQA の内在エラー率 3%」を踏まえ、DeepMind が「もっと本気で品質保証したサブセット」を作り直したのが SimpleQA Verified です。Kaggle にリーダーボードが常設されていて、業界標準として急速に定着しました18。

Gemini 2.5 Pro が Verified F1 で 55.6% を出し、当時 SOTA を自認11。2025 年 11 月時点で Gemini 3 Pro が Verified 72.1% までスコアを伸ばしました12。

現在は「SimpleQA スコア」と書かれた数値の多くが、実は SimpleQA Verified を指している、という状況に注意が必要です。特に 2025 年後半以降の日本語記事を読むときは、どちらのバージョンでの数値なのかを一次ソースまで確認するのが安全です。

Chinese SimpleQA：3,000 問 6 分野の中国語版

Chinese SimpleQA は、SimpleQA 論文からわずか 12 日後の 2024 年 11 月 11 日に公開された、中国発のフォロー版です19。

• 規模：3,000 問
• 分野：中国文化、人文、工学・技術・応用科学、生命・芸術・文化、社会、自然科学の 6 分野、99 サブトピック
• 参照ソース：Wikipedia + 百度百科
• 初期 10,000 問から 30% を残す絞り込み

主要スコアは、o1-preview 63.8%、Doubao-pro-32k 61.9%、GPT-4o 59.3%、GLM-4-Plus 58.7%、Qwen2.5-72B 48.4%、Claude 3.5 Sonnet 46.2%19。

「中国文化」カテゴリでは中国モデル（Doubao、GLM）が o1-preview に匹敵する、という結果は象徴的です。SimpleQA は英語圏の Wikipedia を中心にした本家に対して、地域固有の知識で見ればモデル間の順位が入れ替わる、という現実を明るみに出しました。

Japanese SimpleQA：Preferred Networks による 3,000 問

日本語圏の読者にとって最も実務的なのが Japanese SimpleQA です2021。

• 公開：Preferred Networks、2025 年 12 月 17 日
• 発表媒体：Speaker Deck + GitHub pfnet-research/japanese-simpleqa + 情報処理学会 NL 研第 266 回
• 著者：三上裕明さん、鈴木脩司さん（PFN）
• 規模：3,000 問（韓国語版 KoSimpleQA の 1,000 問とは規模が異なる）
• 判定モデル：Qwen3-8B（人間評価との一致率 85/90、コスト効率で選定）
• 特徴：英語版 Wikipedia を知識源として採用し、日本語で問うが情報が英語にしかない事実にも対応

モデルスコアの中で最も示唆的なのが、Qwen3-32B の RAG 使用時の変化です20。

Qwen3-32B は単体では 10% しか正解できないのに、RAG（検索拡張）と組み合わせると 31% に跳ね上がります。しかも Not Attempted が 4% から 44% に増え、Incorrect は 86% から 25% に減っている。検索経由で外部知識に触れる仕組みそのものが、ハルシネーションを 3 分の 1 以下に抑えている、という現象がこの表で読み取れます20。

日本語での実務運用を考えるとき、この「単体では弱いモデルでも、RAG と組み合わせれば十分使える」という事実は、モデル選定の判断軸を変えます。

KoSimpleQA：韓国語 1,000 問

KoSimpleQA は 2025 年 10 月 21 日に arXiv で公開された韓国語版です22。

• 規模：韓国語 1,000 問、NAVER HyperCLOVA X 系と推定
• 特徴：韓国文化・韓国語固有知識に焦点。英語 SimpleQA とは順位が明確に反転
• 最高スコア：HCX SEED 14B が Correct 33.7%、F-score 35.1

「Reasoning モードを有効化すると Not Attempted が増える傾向」という指摘も報告されていて22、モデルが reasoning でじっくり考えるほど「わからないと答える」比率が上がるという、Chinese SimpleQA や Japanese SimpleQA とも通底する現象が観察されています。

実務での使いどころ。3 つの読み方チェックリスト

派生ベンチも含めて、SimpleQA を実務でどう使えばいいのか。3 つのチェックポイントにまとめます。

1. 単体スコアとツール込みスコアを混同しない

第 3 セクションで見たとおり、DeepSeek V3.2-Exp の 97.1%、Perplexity Deep Research の 93.9%、Felo の 91.2% は、すべて「モデル + ツール」の複合スコアです131516。

単体モデルの上限は今日時点で Gemini 3 Pro Verified の 72.1% までで、20 ポイント以上のギャップがあります。リーダーボードの一覧を眺めるときは、行の右端に「with tools」「Deep Research」「Search」などの表記があるかを必ず確認しましょう。

2. F1 だけでなく hallucination rate と abstention rate も見る

第 2 セクションで見た GPT-5-thinking-mini と o4-mini の比較を思い出してください45。

• gpt-5-thinking-mini：accuracy 22%、abstention 52%、hallucination 26%
• o4-mini：accuracy 24%、abstention 1%、hallucination 75%

「accuracy がわずかに高いモデル」を選んだ結果、ハルシネーション率が 3 倍のモデルを掴まされる、というリスクは実務でも普通に起こります。System Card や論文で 3 つの数字を併記できるモデルを選ぶのが安全策です。

3. 業種・言語特化のベンチと組み合わせる

医療なら Med-HALT、法務なら PLawBench、日本語なら Japanese SimpleQA + RAG、中国語なら Chinese SimpleQA、というように、業種と言語に特化した派生ベンチも同時に確認するのが 2026 年の定石です192022。

Meta の Llama 系は自社モデルカードで SimpleQA スコアを一切開示していない23、という事情もあり、モデルの一次ソースだけを追うと比較の土台が揃わないケースもあります。第三者リーダーボード（llm-stats、ELL、BenchLM）を横断で見るのが現実解です1424。

Vectara Hallucination Leaderboard との違い

最後に、日本語記事でよく混同されるのが Vectara Hallucination Leaderboard との違いです25。

SimpleQA は「closed-book で知識を思い出せるか」、Vectara は「与えられた文書を要約する際に事実を捏造しないか」を測っています。測定次元が違うため、同じ軸で並べるとミスリードになります。「Claude 4.6 の Vectara ハルシネーション率が 12.2%」という数値と、「Gemini 3 Pro の SimpleQA Verified 72.1%」を並列で比べても意味がない、ということです25。

このあたりまで押さえておくと、AI 導入の意思決定でリーダーボードに振り回されずに済みます。最後のセクションでは、SimpleQA の景色を踏まえて Snorbe（私たちが作っている AI 調査エージェント）でモデル選定の反復ループを回す方法を紹介します。

これからの SimpleQA と Snorbe で回すモデル選定の反復ループ

さて、最後のセクションです。

ここまで見てきたように、SimpleQA は「モデル本体の事実性」と「棄権の誠実さ」を測る良い指標です。ただ、単体スコアだけで AI 導入の意思決定を下すには足りない段階にきています。このセクションでは、前半で SimpleQA 以降の AI 事実性評価がどこへ向かうか、後半で Snorbe という AI 調査エージェントを使ってモデル選定を実務ループとして回す方法を紹介します。

SimpleQA だけを見て決める時代の終わり

まず、業界全体の動きから見ていきましょう。

「棄権率」を含めた 3 点セットが定石になりつつある

OpenAI 自身が 2025 年 9 月のブログで「accuracy-only の leaderboard が推測を奨励する」と反省文を書きました4。Anthropic は Claude Opus 4.6 で net score（正答 − 誤答）を primary metric に格上げし、「棄権に報酬を与える」評価軸に舵を切っています6。

Google DeepMind は SimpleQA Verified で本家のラベルノイズを修正しました17。

これらの動きを総合すると、2026 年以降のスタンダードは「accuracy」「hallucination rate」「abstention rate」の 3 点セットに落ち着きそうです。System Card でこの 3 つを併記できないモデルは、実務での比較土台に載せづらくなってきます。

RAG 併用と単体スコアは「別軸」で並べるのが定着

第 3 セクションと第 4 セクションで見たように、Japanese SimpleQA で Qwen3-32B が単体 10% から RAG 併用で 31% に伸び20、DeepSeek V3.2-Exp がツール込みで 97.1% を叩き出す13、というのが現在の景色です。

モデル本体の SimpleQA スコアと、RAG・検索エージェント込みのスコアは、まったく別軸で並べるのが実務ルールになります。「単体で強いモデル」と「検索経由で外部知識に素直につなげるアーキテクチャ」は、それぞれ別の技術的挑戦だからです。

業種特化・言語特化ベンチが並走する

Chinese SimpleQA、Japanese SimpleQA、KoSimpleQA といった「言語特化 SimpleQA」の系譜に加えて、富士通研究所が自社マルチモーダルハルシネーションベンチマーク「Fujitsu Hallucination Benchmark（ECHO）」を 2026 年 3 月に提案しました26。医療の Med-HALT、法務の PLawBench など、垂直領域の派生ベンチも着実に増えています。

つまり「万能な事実性ベンチマーク」というものは存在せず、業種・言語・タスクごとに複数を組み合わせて判断するのが、2026 年後半の実務の姿です。

規制の視点。SimpleQA は「認知されているが必須ではない」段階

参考までに、規制側の位置づけも押さえておきます2728。

• NIST AI 800-4 / AI 800-2 IPD：SimpleQA の名指し引用なし
• CAISI の DeepSeek V4 Pro 評価（2026-05）：9 本のベンチマークを使用したが SimpleQA は含まれない
• UK AISI Inspect フレームワーク：SimpleQA が組み込み評価タスクとして存在するが、規制上の必須要件ではない
• EU AI Act GPAI Code of Practice（2025-07 最終版）：抽象カテゴリ記述にとどまり、SimpleQA を含む個別ベンチマーク名を推奨リストとして持たない

規制的には「知られているが必須ではない」段階、というのが正確な位置づけです。中国側では Chinese SimpleQA が Alibaba Cloud PAI ModelEval のスタックに近い形で運用されていて、地域ごとに標準化のスピードが違います。

Snorbe で「モデル選定の反復ループ」を回す

ここからが実務のオペレーションの話です。

Deskrex では Snorbe という AI 調査エージェントを提供しています。Snorbe は、フロンティア級のモデルを裏で切り替えて使えるようになっていて、JPO / EPO / Google Patents / arXiv / PubMed / Semantic Scholar の専門データベースを自然な日本語質問だけで束ねて叩けます。

Snorbe の面白いところは、「どのモデルで、どのタスクをやったか」がナレッジグラフとして残るところです。つまり、モデル選定の反復ループを実務のなかで自然に蓄積できます。SimpleQA の議論で見た「RAG 併用で数字が跳ね上がる」現象を、そのまま実務環境で試せる設計です。

具体的にはこんな 3 ステップで回します。

ステップ 1：同じテーマを 2 モデル並走で走らせる

たとえば「半導体業界の HBM4 市場動向」を調査するとき、Snorbe に「単体スコアが強いモデル A」と「RAG エージェント型のモデル B」の両方で DeepResearch を走らせます。SimpleQA の議論で見たとおり、単体の知識だけで答えるモデルと、外部データベースに触りに行けるモデルでは、引用ソースの多様性や結論の網羅性に差が出ることが多いです。

ステップ 2：結果をワークスペースのグラフに保存

Snorbe は完全記憶型のナレッジグラフを持っています。DR の結果は、ワークスペースに「モデル A の結論」「モデル B の結論」として並列で保存され、「モデル A は特許ソースを重視、モデル B は学術論文を重視」といった傾向まで自動で紐付きます。

これは、単に「モデル比較の実験結果」を残すだけではなく、次に似たテーマを調べるときにどのモデルへ聞くべきかの判断材料になります。SimpleQA の Japanese 版で Qwen3-32B が単体 10% から RAG 併用 31% になったように、タスクごとの相性データが手元に貯まっていきます。

ステップ 3：分野別のモデル相性を蓄積する

半年ほど Snorbe を運用すると、ワークスペースには次のような相性データが自然に貯まります。

• 特許系リサーチ：単体スコアの強いモデルが引用の網羅性で優位
• 学術文献レビュー：arXiv・PubMed への RAG が効くモデルが優位
• 短時間で結論だけほしい：軽量モデル + 検索エージェントが最速で 8 割の質
• 日常調査：コスト最優先の軽量モデル

こうなると、「SimpleQA スコア」という抽象的な指標ではなく、自社のタスクに紐付いた「モデル × タスク相性の地図」が手元にできる状態になります。

Snorbe のクエリはすべて自然な日本語で投げられて、ナレッジグラフベースなので過去の記憶と自動で連結します。「特許を CJK 圏中心に、直近 6 か月で HBM4 の周辺技術を洗って」といったふわっとした要求でも、過去のワークスペースの文脈を踏まえて解釈してくれます。

Snorbe を試してみたい方は、https://lp.deskrex.ai/ からご相談ください。今から反復ループを回し始めれば、半年後には「SimpleQA スコアより自社データで選ぶ」段階に立てます。

この記事のまとめ

長くなったので、最後にキーポイントを 5 つに絞ります。

1. SimpleQA は OpenAI が 2024 年 10 月に公開した 4,326 問の事実性ベンチマークです。GPT-4 系 4 モデルを事前に走らせて誤答した問題だけを採用した、敵対的な設計になっています。
2. 採点方式は Correct / Incorrect / Not attempted の 3 分類に F1 スコアを加えたもの。「わからないと素直に言えるモデル」が有利になるように、ハルシネーション抑制のインセンティブが組み込まれています。
3. この 1 年半でスコアが伸びました。単体モデルでは GPT-4o の 38% から GPT-4.5-preview の 62.5%、Gemini 3 Pro Verified の 72.1% まで。ツール込みでは DeepSeek V3.2-Exp が 97.1% に到達しています。
4. 単体スコアとツール込みスコアは別軸で並べる。派生ベンチ（Japanese SimpleQA、Chinese SimpleQA、KoSimpleQA、SimpleQA Verified）と業種特化ベンチを組み合わせるのが 2026 年のベストプラクティスです。
5. SimpleQA 単独で選ばず、hallucination rate と abstention rate も同時に見る。Snorbe のようにモデル × タスク相性を実務で蓄積する反復ループが、公開ベンチマークを補完する軸になっていきます。

SimpleQA のスコアを追いかけるだけでは、AI 導入の意思決定は成り立たなくなっています。「単体テストの点数」から「RAG 込みで実装したときの本当の事実性」へ、AI 事実性評価のフェーズが変わりつつあるのが 2026 年 7 月の景色です。この記事が、その景色をつかむ最初のきっかけになれば嬉しいです。

よくある質問

Q1. SimpleQA の正式名称と読み方は？

SimpleQA は Simple Question Answering（シンプル・クエスチョン・アンサリング）の略称です。日本語では「シンプル QA」と読まれることが多く、OpenAI が 2024 年 10 月 30 日に公開した、AI モデルの事実性（factuality）を測る 4,326 問のベンチマークを指します12。

Q2. SimpleQA の問題データは誰でも見られますか？

はい、MIT ライセンスで公開されています。GitHub の openai/simple-evals リポジトリからコードとデータセットをダウンロードできます3。CSV ファイルとして 4,326 問すべてが含まれていて、自分の GPU で任意のモデルを採点することもできます。ただし、モデル訓練時に SimpleQA の問題が学習データに混入すると評価が無意味になるため、業務用の秘匿サブセットで検証する運用も増えています。

Q3. 2026 年 7 月時点で最も SimpleQA スコアが高いモデルはどれですか？

単体モデルとツール込みで分けて考える必要があります131412。

単体モデルの上位は、Gemini 3 Pro が SimpleQA Verified で 72.1%、GPT-4.5-preview が本家 SimpleQA で 62.5%、GPT-5-thinking が 55%。ツール込みの上位は、DeepSeek V3.2-Exp が 97.1%、DeepSeek V3.1-Terminus が 96.8%、Grok 4 Fast が 95.0%、Perplexity Deep Research が 93.9%、Felo Pro が 91.2% です。

この 2 つを混同すると、モデル本体の知識と検索エージェントの性能を取り違えて意思決定を誤ります。リーダーボードを見るときは、行に「with tools」「Deep Research」の表記があるかを必ず確認してください。

Q4. なぜ Anthropic は SimpleQA スコアを長らく公表しなかったのですか？

Anthropic は Claude 3 / 3.5 / 3.7 / 4 世代のモデルカードで SimpleQA スコアを一切公表していませんでした9。代わりに内製の 100Q Hard（100 問の難問手書き QA）と Multi-factual を使い、Constitutional AI + HHH ポリシーの下で独自の 3 分類評価を採用してきました。

転機は 2025 年 9 月の Claude Sonnet 4.5 System Card で、ここで OpenAI SimpleQA を初めて公式採用しました10。さらに 2026 年 2 月の Claude Opus 4.6 System Card では、SimpleQA を net score（正答 − 誤答）として primary metric に格上げして再解釈しています6。

Q5. SimpleQA と Vectara Hallucination Leaderboard の違いは何ですか？

測定タスクがまったく別のものです25。SimpleQA は closed-book で知識を思い出せるかを測る事実性 QA、Vectara HHEM は与えられた文書を要約するときに事実を捏造しないかを測る factual consistency のベンチマークです。

両者を混同する日本語記事が多いですが、測定次元が違うため同軸で並べるとミスリードになります。「Claude 4.6 の Vectara ハルシネーション率が 12.2%」という数値と、「Gemini 3 Pro の SimpleQA Verified 72.1%」を並列で比べても意味がない、ということです25。

Q6. Japanese SimpleQA はどこにありますか？

Preferred Networks（PFN）が 2025 年 12 月 17 日に公開しました2021。

発表媒体は Speaker Deck、GitHub の pfnet-research/japanese-simpleqa、それに情報処理学会 NL 研第 266 回。規模は 3,000 問（韓国語版 KoSimpleQA の 1,000 問とは規模が異なります）。判定モデルは Qwen3-8B で、人間評価との一致率は 85/90。特徴は英語版 Wikipedia を知識源とし、日本語で問うが情報が英語にしかない事実にも対応する点です。

Qwen3-32B が単体 10% から RAG 併用で 31% にまで伸びた変化が Speaker Deck に示されていて、日本語運用では RAG との組み合わせが現実解であることが分かります20。

Q7. SimpleQA スコアが高いモデルは、実務でも使えますか？

用途によります。一般的な事実性クエリや closed-book の知識想起では SimpleQA 上位モデルが有力候補になります。ただし、業種特化タスクでは順位が入れ替わることも珍しくありません。

たとえば Chinese SimpleQA では、「中国文化」カテゴリで中国モデル（Doubao、GLM）が o1-preview に匹敵するスコアを出します19。日本語運用なら Japanese SimpleQA + RAG、法務なら PLawBench、医療なら Med-HALT、といった業種・言語別のベンチも同時に確認するのが 2026 年のベストプラクティスです。

SimpleQA 単独で選ばず、hallucination rate、abstention rate、業種別ベンチを組み合わせて判断するのが安全です。

Q8. SimpleQA は今後も使い続けられますか？

しばらくは使い続けられそうですが、位置づけは変わりそうです。

理由は、OpenAI 自身が「accuracy-only の leaderboard が推測を奨励する」と反省文を書き4、Anthropic が Opus 4.6 で net score に primary metric を移し6、Google DeepMind が SimpleQA Verified で 1,000 問精選版を作った17、という各社の動きが揃ってきたためです。

今後は「accuracy」「hallucination rate」「abstention rate」の 3 点セットに SimpleQA Verified と業種特化ベンチを組み合わせるやり方が、2027 年の主流になっていきそうです。単体の「SimpleQA スコア」1 個で語る時代は静かに終わりつつあります。

調査手法について

こちらの記事はグラフAIリサーチプラットフォームのSnorbeを使って作られています。Snorbeは研究開発・新規事業向けの調査テーマに応じた幅広い項目のオートリサーチや、ナレッジグラフの構築、構造化レポートの生成ができるAIリサーチツールです。

Screenshot

調査したいテーマを入力するだけで、AIが深堀りすべき観点や広げるべき調査項目をレコメンドしながら、自動でリサーチを進めます。収集した情報はナレッジグラフとして蓄積され、未調査領域（ホワイトスペース）を可視化しながら調査の網羅性を高めていけます。

また、観点マトリクスを30秒・構造化レポートを10分で自動生成する機能があり、出典付きのレポートをMarkdown/PDF形式でエクスポートできます。調査の元データも保存されるため、ファクトチェックや社内共有も容易です。

ご利用をご希望の方は、こちらよりお申し込みください。

また、グラフAIを活用した社内ナレッジ管理や、研究開発・新規事業のリサーチ支援、セルフホスト導入のご相談も受け付けています。お困りの方はお気軽にご連絡ください。

冨田到

市場調査やデスクリサーチの生成AIエージェントを作っています 仲間探し中 / Founder of AI Desk Research Agent @deskrex , https://deskrex.ai

www.deskrex.ai/