この記事でわかること
HLE（Humanity’s Last Exam）は、AIに用意された「最後の学術試験」を掲げる 2,500 問のベンチマークです。米国の Center for AI Safety（CAIS）と Scale AI が共同で作り、50 カ国 500 以上の機関から約 1,000 名の専門家が問題を寄稿しました12。
作られた理由はシンプルで、それまで主流だった MMLU というテストが「トップモデルが 90% 超えて簡単すぎる」状態になったからです3。HLE は Google 検索でも答えが出ない、博士級の専門知識を要求する問題ばかりを集めています。
そして 2025 年 1 月のリリース時、当時のトップだった OpenAI o3 でも 20% しか正解できませんでした。ところが 2026 年 7 月時点で、Anthropic の Claude Fable 5 が独立検証機関 Artificial Analysis の測定で 53.3%、BenchLM.ai の集計では 64.5% まで到達しています456。1 年半でスコアが 3 倍以上伸びた、というのが現状です。
この記事では、次の 5 つを順番に見ていきます。
- HLE の定義と背景（誰が、なぜ作ったか）
- スコアの推移（なぜ半年で世界が変わったか）
- 他ベンチマーク（MMLU、GPQA、SWE-bench）との違い
- 実務でのモデル選定に使えるチェックリスト
- HLE 飽和後の AI 評価トレンド
読み終える頃には「HLE スコアだけを見てモデルを選ぶのは危険」「同じモデルでもリーダーボード間で 10 ポイント差が出る」といった、AI 導入判断に直結する読み方が身につきます。
HLE とは何か。一言でいうと「AI に用意された最後の学術試験」です
まず HLE（Humanity’s Last Exam）を一言で定義しておきましょう。
HLE は、AI に用意された「最後の学術試験」を掲げる 2,500 問のベンチマークです。
読んで字のごとく「人類の最後の試験」を意味していて、名前だけ聞くとちょっと大げさに感じますよね。ただ、この名付けには「AI がこの試験を突破したら、もう学術的な問題を人間が用意しても意味がなくなる」という設計思想が込められています1。
このセクションでは、HLE が誰の手で、どんな目的で作られたのか、そして問題がどんな形をしているのかを見ていきます。ここを押さえておくと、後半のスコア推移や実務での使い方が「そういうことか」とスッと入ってきます。
誰が作ったのか。CAIS と Scale AI の共同プロジェクト
HLE を作ったのは、AI 安全の研究組織 Center for AI Safety（略して CAIS） と、AI データラベリングで有名な Scale AI の 2 社です12。
主導者は Dan Hendrycks さんという方で、CAIS のディレクターを務めています。実はこの HLE のアイデア、Hendrycks さんが Elon Musk と話していたときに「今の LLM ベンチマーク（MMLU）は簡単すぎる」と言われたのがきっかけと Wikipedia で語られています3。
思いつきをそのまま実装に落とし込むあたり、AI 業界のスピード感を感じますね。2024 年 9 月に一般公募を開始し、2025 年 1 月に第一版がリリース、そして 2026 年 1 月 28 日には権威ある科学誌 Nature の 649 巻 1139〜1146 ページに論文として掲載されました47。
なお公式サイトのドメインが agi.safe.ai である点にも注目です。CAIS は HLE を AGI（汎用人工知能）を測る指標として位置づけているんですね。この意図はセクション 3 で他ベンチマークと比べるときにあらためて効いてきます。
なぜ作ったのか。MMLU が 90% 超えて「使えなくなった」から
HLE が生まれた背景を理解するには、ベンチマーク飽和という現象を押さえておきましょう。
MMLU（Massive Multitask Language Understanding）は 2021 年に登場した AI ベンチマークで、数学・物理・法律・医療など 57 分野の問題を約 1 万 6,000 問集めた「AI の総合学力試験」でした。
問題は、2023 年頃からトップモデルが 90% 超えるようになったこと。GPT-4 や Claude Opus のような最新モデルはほぼ全問正解に近い状態になり、モデル同士の差がスコアに出なくなったんです8。学校のテストで全員が 100 点を取ってしまうと、成績表で順位がつけられませんよね。同じことが AI ベンチマークで起きていました。
Scale AI の公式ブログはこう述べています。
「モデルが既存のテストでほぼ満点を取ってしまうと、そのベンチマークは今後のモデル進歩の精密な測定ツールとして機能しなくなります」1
そこで CAIS と Scale AI が「もっと難しくて、まだ AI が解けない問題を集めよう」と作ったのが HLE でした。Stanford HAI の AI Index 2025 も、HLE を「飽和に対抗する新世代の高難度ベンチマーク」として明示的に取り上げています3。
どうやって問題を集めたか。50 カ国 1,000 人、賞金 50 万ドル
HLE の作り方は、正直かなり大掛かりです。数字で並べるとこんな具合になります12。
- 50 カ国以上、500 以上の機関から約 1,000 名の専門家が問題を寄稿
- 寄稿者の大半は現役の研究者や大学教授、博士課程の院生
- 賞金プールは総額 50 万ドル（当時のレートで約 7,500 万円）
- 質問のトップ 50 には 5,000 ドル、次の 500 に 500 ドル、共著者クレジットも付与
さらに問題の絞り込み方も念が入っています。集まった問題は、まず GPT-4o や Claude 3.5 Sonnet といった当時の最強クラス LLM に解かせて、ランダム未満の正答率でしか解けなかった問題だけを残します。そのうえで、人間の専門家が 2 段階レビューして最終確定させました4。
「AI が現時点で解けないもの」しか採用しない、という徹底ぶり。だから公開時点で、当時のフロンティアモデルでも 10% 前後しか解けなかったわけです。
問題数は最終的に 2,500 問 に落ち着きました（当初は 3,000 問で公募）7。分野の内訳は Epoch AI と Scale Labs のデータによれば、次のような比率です29。
- 数学：41%
- 生物・医学：11%
- 物理：9%
- 化学、計算機科学、人文・社会科学など100 以上の科目が残り
「数学 41%」がやや偏っているのは、抽象的な推論力を測るのに数学が最もクリーンだから、という設計上の理由と読めます。
どんな問題形式か。8 割が記述式で、Google では答えが出ない
「AI に用意した試験」と聞くと、選択肢を選ぶマークシートを想像するかもしれません。でも HLE は違います。
- 記述式（exact-match）が約 80%
- 多肢選択（5 択以上）が 20%
- 10〜14% はマルチモーダル問題（図表や画像を読み解いて答える）
採点は pass@1 の accuracy です。記述式は LLM が「参照解答と一致しているか」を判定します。数値には小さな許容誤差を持たせますが、原則として 意味的に一致していなければ不正解という厳しさです10。
Scale AI の公式ブログには、例として次のような生物学の問題が挙げられています1。
「Apodiformes 目のハチドリは、m. depressor caudae の交差腱膜の後外側に埋め込まれた対の楕円形の種子骨を持っている。この種子骨に支えられている対の腱の数は？」
……いかがでしょうか。私はまったくわかりません。日本語に置き換えても意味不明レベルです。
これは生物学の博士号を持っていても、解剖学の専門家でなければ答えられないレベル。「専門家に聞かないと答えられない、Google 検索でも出てこない」問題を集めた、というのが HLE の特徴です。CAIS のブログには「投稿者は 5 年以上の実務経験がある技術者、または博士課程以上」と書かれていて、大学院レベルでも「簡単すぎる」と判断されたそうです11。
中学生向けにたとえると。全国模試の「最上級」を作ったイメージ
ここまで読んで難しく感じた方向けに、中学生でもわかるたとえで言い換えてみます。
HLE は、AI 向けの全国模試の「最上級コース」みたいなものです。
- MMLU は、ふだんの学校のテスト。基本問題も多くて、優秀な子（AI）なら 90 点以上取れる。
- HLE は、東大や医学部を目指す模試のさらにその上、大学の教授陣が本気で考えた激ムズ問題しか出ない。
- しかも、Google で検索しても答えが出ないように工夫されている。
- 1,000 人の研究者や教授が、賞金 7,500 万円をかけて問題を持ち寄った。
こう言うと、なぜ HLE が「Humanity’s Last Exam（人類の最後の試験）」と大げさな名前をつけられたかがイメージできるのではないでしょうか。「AI がこれを全部解けたら、もう学術知識の試験を作る意味がなくなる」というくらい難しい試験、というわけです。
次のセクションでは、この試験に AI たちがどう挑んで、どうスコアを伸ばしてきたのかを時系列で追っていきます。ここが正直、いちばん面白いところです。
スコアの推移。1 年半でトップが 10% から 65% へ
HLE のいちばんドラマチックな部分が、このスコアの動きです。
リリース時（2025 年 1 月）はどのモデルも 10% を取るのが精一杯だったのに、2026 年 7 月の現在、トップモデルは 50% を超えて 65% にまで到達しています。1 年半で 3 倍以上、しかも上位陣がまだ加速中。学校の全国模試で全員が 3 倍伸びる、と考えるとその異常さが伝わるはずです。
このセクションでは、リリース時 → 2025 年秋の突破点 → 2026 年前半の 50% 越えラッシュ、と 3 段階に分けて追っていきます。同じ Claude Fable 5 でもリーダーボード次第で 10 ポイント違う、という「スコアの読み方」の話も後半でまとめます。
2025 年 1 月：リリース時、o3 で 20%、他は一桁
HLE の第一版が公開された 2025 年 1 月、Scale AI 公式リーダーボードや Promptfoo が公開した当時のスコアはこんな感じでした1012。
| モデル | HLE スコア |
|---|---|
| OpenAI o3（high） | 20.3% |
| OpenAI o4-mini（high） | 18.1% |
| DeepSeek-R1 | 9.4% |
| Gemini 2.0 Flash Thinking | 6.6% |
| Claude Sonnet 4（非 thinking） | 5.5% |
当時のフロンティア中のフロンティアだった o3 が 20%、他は軒並み一桁。Scale AI 公式ブログは「現行のフロンティアモデルは HLE で低いスコアしか出せず、しかも誤答に対して過信（uncalibrated overconfidence）を見せる」と書いています9。
ここで「誤答に対して過信」というのが面白いポイントです。AI って、「わからない」と言えないんですね。むしろ「これが正解です」と自信満々に答えを返してくるのに、実は間違っている、というパターンが多い。Scale AI が Calibration Error（自信の較正誤差） をリーダーボードに並べているのはこのためです。
つまり HLE リリース時点の結論は、シンプルに 2 つ。
- AI はまだ、専門家レベルの学術問題を全然解けない（20% は「かろうじて」レベル）
- 解けない問題に対しても自信満々に間違える（信頼して業務に使うのは危険）
これが 2025 年の年頭の景色でした。
2025 年秋〜2026 年初頭：GPT-5 と Gemini 3 Pro で 30% の壁を突破
風向きが変わったのは 2025 年後半です。OpenAI GPT-5 系 と Google Gemini 3 系 が矢継ぎ早にリリースされ、HLE スコアがぐっと押し上げられました1312。
| モデル | リリース | HLE スコア |
|---|---|---|
| GPT-5 Pro（2025-10-06 版） | 2025 年 10 月 | 31.6% |
| Gemini 3 Pro Preview | 2025 年 11 月 18 日 | 37.5%（当時の最高記録） |
| Claude Opus 4.6（thinking max） | 2025 年後半 | 34.4% |
| Grok 4 | 2025 年後半 | 25.4% |
とくに Gemini 3 Pro Preview の 37.5% は、公開当時の最高記録として TechCrunch でも大きく取り上げられました13。この頃から「HLE で 30% を超えたらフロンティア級」という共通認識ができ始めます。
ここで面白いのは、わずか 2 週間で 3 つのフロンティアモデル（GPT-5、Gemini 3 Pro、Claude Opus 4.5）が立て続けにリリースされ、それぞれが 30% 超えを叩き出したことです13。AI ラボ同士の競争がベンチマークを一気に押し上げる、という構図が可視化された瞬間でした。
2026 年前半〜7 月：50% の壁も突破、Claude Fable 5 が 60% 超えへ
そして 2026 年に入ってからは、上位陣が 50% どころか 60% を超えるというフェーズに突入しています。
Vellum の LLM Leaderboard（2026 年 7 月 1 日更新、独立検証）を見ると、こんな順位です6。
| 順位 | モデル | HLE スコア |
|---|---|---|
| 1 | Claude Mythos 5（Anthropic） | 64.5% |
| 2 | Claude Opus 4.8 | 57.9% |
| 3 | Claude Sonnet 5 | 57.4% |
| 4 | GLM 5.2（Z.AI、オープンウェイト） | 54.7% |
| 5 | Kimi K2.6 | 54.0% |
| 6 | DeepSeek V4 Flash | 51.6% |
| 7 | DeepSeek V4 Pro | 48.2% |
| 8 | Gemini 3 Pro | 45.8% |
| 9 | Gemini 3.1 Pro | 44.4% |
| 10 | GPT-5.5 Pro | 43.1% |
さらに BenchLM.ai の集計（2026 年 7 月 6 日更新、41 モデル比較）では、Claude Fable 5 が 64.5% で単独トップに立っています5。
ここで注目したいのは 2 点あります。
1 つ目は、中国系のオープンモデル（GLM、DeepSeek、Kimi、Qwen）が上位に食い込んでいることです。かつては「オープンモデルはフロンティアから 10 ポイント以上遅れる」と言われていましたが、2026 年 7 月時点では GLM 5.2 が 54.7%、Kimi K2.6 が 54.0%、DeepSeek V4 系が 51.6% と、プロプライエタリ勢に肉薄しています6。「AI はもう米中の 2 強時代」という景色がスコアの数字にはっきり出ているんですね。
2 つ目は、Anthropic の Claude 5 系が独走状態なこと。上位 3 つが全部 Claude で、Mythos / Opus 4.8 / Sonnet 5 と揃い踏み。しかも Claude Fable 5 という新モデルが 64.5% を叩き出しています56。
Wikipedia は Artificial Analysis の 2026 年 6 月 28 日データを引いて、次のようにまとめています3。
「Claude Fable 5 が 53.3% でトップ、Gemini 3.1 Pro Preview が 44.7%、GPT-5.5 が 44.3% と続く。中国系オープンモデルも 35〜54% レンジに集まり、プロプライエタリ勢と 10 ポイント差まで接近している」
同じモデルなのに、リーダーボードで 10 ポイント違う理由
さてここで、目のいい方は気づいたかもしれません。「同じ Claude Fable 5 なのに、Artificial Analysis で 53.3%、BenchLM で 64.5% と 10 ポイント以上違うのはなぜ？」
これが HLE スコアを読むときのいちばん大事なポイントです。理由は主に 3 つあります8。
- 推論モードの違い：Adaptive Reasoning、Max Effort、thinking high など、モデルにどのくらい計算資源を割り当てるかで結果が変わります。「thinking モード」を有効にするとスコアが 10 ポイント以上跳ね上がることも珍しくありません。
- フォールバックモデルの有無：Claude Fable 5 の Artificial Analysis スコア（53.3%）は「Opus 4.8 Fallback あり」の設定。難問は Opus に振る、という運用が許されています。BenchLM の 64.5% はまた別の設定です4。
- ツール使用（web 検索、コード実行）の有無：ツール使用ありでは Kimi K2.5 が 51.8%、Claude Opus 4.6 が 53.1% まで伸びる、という差もあります14。
つまり「HLE 60% のモデル」という単一の数値には、あまり意味がないんですね。実務で使うなら「どのリーダーボード × どの推論モード × どのツール条件」まで揃えて比較しましょう。ここが読者の方に特に持ち帰ってほしいポイントです。
Iternal AI の LLM 選定ガイドは、この点をこう指摘しています8。
「ベンチマークスコアは必要だが十分ではない。同じ MMLU で 2〜3% 内に収まっているモデル同士は、その指標では区別できません。具体的なユースケースこそが本当の差別化ポイントです」
MMLU と同じ道をたどるのか。飽和はいつ来るか
もう 1 つ、AI 業界的に気になる話題があります。HLE 自体も飽和するのか？
MMLU は 2021 年にリリースされてから、フロンティアモデルが 90% 超えるまで約 3 年でした。HLE はどうか？
- 2025 年 1 月：トップが 20%
- 2025 年 11 月：37.5%（Gemini 3 Pro）
- 2026 年 3 月：46.44%（Gemini 3.1 Pro Preview、Scale Labs）12
- 2026 年 7 月：64.5%（Claude Fable 5、BenchLM）5
1 年半で 3 倍以上。MMLU が 3 年で飽和したペースの倍近い速度です。この勢いが続くと、2026 年末〜2027 年初頭には HLE のトップが 80% を超え、differentiation 力を失う可能性が高いと Kili Technology や Techjacksolutions のベンチマーク解説は予測しています1514。
CAIS 側もそれは想定していて、HLE-Rolling という継続的に問題を追加する版を 2025 年 10 月にリリース済み7。「試験そのものが陳腐化する前に、問題を新陳代謝させる」という、なかなか AI 時代らしい発想です。
さて、次のセクションでは HLE を他の主要ベンチマーク（MMLU、GPQA、SWE-bench、ARC-AGI-2）と並べてみます。「結局 HLE は何を測っているのか」を、他のテストとの対比で理解していきましょう。
他の AI ベンチマークとの違い。MMLU、GPQA、SWE-bench と何が違うのか
HLE の話をしていると、必ず出てくるのが「じゃあ MMLU や GPQA、SWE-bench とは何が違うの？」という質問です。ベンチマークが乱立していて、AI 導入検討者からしたらどれを見ればいいか迷いますよね。
このセクションでは 2026 年 7 月時点の主要ベンチマークを俯瞰して、HLE がその中でどんな役割を担っているのかを整理します。ざっくり言うと、HLE は「学術知識の frontier ceiling を測る役」を担っていて、他のベンチマークで測れないカリブレーションエラーも同時に見せてくれる、という独自ポジションにいます。
主要ベンチマーク早見表（2026 年 7 月時点）
まず全体像から。Iternal AI、Kili Technology、LM Council など複数のベンチマーク解説を横断すると、2026 年 7 月時点で「まだ現役」で「有効性が高い」ベンチマークは次のあたりです81516。
| ベンチマーク | 目的 | 現在の最高スコア | ステータス |
|---|---|---|---|
| MMLU | 一般知識（57 分野） | 94% 超 | 飽和 |
| MMLU-Pro | MMLU 難化版 | 92%+ | 飽和進行中 |
| GPQA Diamond | PhD 級科学問題（198 問） | Gemini 3.1 Pro 94.3% | 飽和接近 |
| HLE | 学術知識の frontier ceiling | Claude Fable 5 53〜64% | 現役 |
| Frontier Math | 研究者級数学 | 30%台 | 現役 |
| ARC-AGI-2 | 抽象推論（学習不可） | GPT-5.4 73.3〜83.3% | 現役 |
| ARC-AGI-3 | ARC-AGI 難化版 | フロンティアで 13% | 現役（飽和遠い） |
| SWE-bench Verified | コーディング（GitHub Issue） | Claude Opus 4.6 80.9% | 飽和接近・汚染懸念 |
| GDPval | 44 職種の実務評価 | GPT-5.2 49.7% | 新興 |
| Terminal-Bench 2.0 | コマンドライン操作 | Claude Opus 4.6 59.3% | 新興 |
こう並べると、HLE がベンチマーク群のなかで「まだしばらく飽和しない、フロンティア測定の主軸」を担っていることが見えてきます。GPQA が 94% で飽和しかけている中、HLE は 65% で 35 ポイントの余地があります。
以下、代表的なベンチマークを HLE と対比しながら見ていきます。
MMLU：HLE 誕生の「原因」となった飽和ベンチマーク
MMLU（Massive Multitask Language Understanding） は、AI ベンチマークの歴史を語るときには外せません。57 分野・約 1 万 6,000 問の総合学力テストで、2021 年のリリース時は当時最強の GPT-3 でも 43% 程度でした。
ところが 2 〜 3 年で GPT-4 や Claude 3 系がスコアを 90% まで押し上げ、もはやフロンティアモデル同士の差がスコアに出ない状態に。前のセクションで触れたように、これが HLE を生んだ理由そのものです1。
さらに MMLU には別の問題もありました。Virology サブセットで 57% が誤答だったという研究があるほど、問題自体の質にも疑いが持たれていたんです15。
MMLU と HLE の違いをまとめると、MMLU は「一般的な学力」を測るテスト、HLE は「専門家しか解けない深さ」を測るテスト、と言えます。MMLU が飽和したから HLE を作った、という直接的な系譜関係にあります。
GPQA Diamond：PhD 級の科学に絞った 198 問
GPQA Diamond は、NYU の研究者が作った 博士級の科学問題 198 問 のベンチマークです。「Google 不可能」であることを狙って設計されていて、専門家じゃない人がネット検索しながら解いても 34% しか取れない、というのが特徴17。
2026 年 7 月時点で Gemini 3.1 Pro が 94.3%、GPT-5 系や Claude Opus 4.6 も 88〜92% と、こちらも飽和接近中です68。
GPQA と HLE の違いを見ると、GPQA は 198 問と少なく、科学（物理・化学・生物）に特化しています。一方 HLE は 2,500 問で、数学・人文・社会まで含む幅広さがあります。実務での使い分けは「科学的な深さを見たいなら GPQA、学術全般の frontier を見たいなら HLE」というのが Kili Technology の推奨です15。
SWE-bench Verified：コーディングの実タスク評価
SWE-bench Verified は、GitHub の実際の Issue を LLM に解かせる、というエージェント寄りのベンチマークです。実務でコード修正やリファクタリングに使う場面を直接シミュレートできる点で人気があります。
2026 年 7 月時点のトップは Claude Opus 4.6 で 80.9%、GPT-5.2 が 80.0%18。かなり高いスコアです。
ただし OpenAI 自身が 2025 年に「SWE-bench Verified は訓練データ汚染の可能性がある」と警告を出しました8。訓練データに GitHub の解決済み Issue が含まれていると、実質的に「答えを覚えている」ことになりかねません。
対策として SWE-bench Pro の開発が進んでいて、こちらは汚染耐性を上げる設計になっているそうです814。
SWE-bench と HLE は測定対象が別物です。SWE-bench はコーディング特化、HLE は学術知識。HLE スコアが高くてもコーディングが得意とは限らないという、重要な非相関があります。実際、Gemini 3 Flash は SWE-bench Verified で 78.0% を叩き出し、上位版の Gemini 3 Pro の 76.2% を上回るなど、コーディングでは HLE の順位と独立した動きを見せています18。
ARC-AGI-2 と -3：抽象推論、学習不可
ARC-AGI（Abstraction and Reasoning Corpus for AGI）は、François Chollet が提唱した「学習では解けない」抽象パターン推論のベンチマークです。少数の例から新しいルールを一発で類推する必要があり、訓練データに正解を混ぜても解けない設計になっています。
2026 年 7 月時点で ARC-AGI-1 は Gemini 3 Deep Think が 96% に達しましたが、ARC-AGI-2 では最上位でも 50.7%（Grok 4）、ARC-AGI-3 に至ってはフロンティアで 13% しか取れていません819。
これが何を意味するかというと、「単純に AI の推論力を測るなら、まだ ARC-AGI-3 が最強のフィルタ」ということ。HLE は学術知識に依存する分、「知識を持っていれば解ける」タイプの問題も含んでいます。ARC-AGI は「知識ではなく、その場での抽象化」を測るので、コンセプトが違うんですね。
ARC-AGI と HLE を並べて見ると、ARC-AGI は「未知の抽象パターンを類推する力」を、HLE は「専門家レベルの学術知識」を測っています。両方を見ることで、AI が「知っているから答えられる」のか「その場で考えて答えられる」のかが判別できます。
GDPval：44 職種の「実務」ベンチマーク
2025 年後半に登場した GDPval は、OpenAI が主導する新しいベンチマークで、米国 GDP の上位 9 業種から 44 職種を選抜し、それぞれの職種で AI がどれくらい役に立つかを測るものです16。
登場人物は、ソフトウェア開発者、弁護士、看護師、機械エンジニアなど。判定は 14 年以上の実務経験を持つ専門家が担当します。
2026 年 7 月時点のトップは GPT-5.2 で 49.7%、Claude Opus 4.5 が 45.5%、Claude Opus 4.1 が 43.6%、Gemini 3 Pro Preview が 40.3% と、HLE とは違う勢力図になっています16。
GDPval と HLE を並べると、HLE は「学術知識」を、GDPval は「実務スキル」を測っています。AI 導入を検討する現場では、GDPval のほうが直接的に役立つ指標になりつつあります。ここは第 5 セクションでもう少し掘ります。
HLE が担う独自の役割：frontier ceiling とカリブレーションエラー
ここまで並べてくると、HLE の独自ポジションが見えてきます。ざっくり整理すると、以下の 2 つが HLE ならではのポイントです91415。
1 つ目、frontier ceiling を単一スコアで示せる
いちばん強いモデルでも 65% 止まり、まだ 35 ポイントの余地がある。GPQA が 94% で飽和しかけている中で、HLE はしばらく「フロンティアの天井」を測れる指標として機能します。
2 つ目、カリブレーションエラー（自信の過剰さ）を計測できる
Scale Labs のリーダーボードには HLE スコアと並んで Calib Err（Calibration Error） が並記されています9。たとえば Gemini 3.1 Pro Preview は HLE 46.44%（Calib Err: 51）、GPT-5.4 Pro は 44.32%（Calib Err: 38）と、スコアが同じ 40% 台でも「自信と正答率のズレ」に大きな差があるんです。
これは実務で「AI に答えを聞くとき、その答えが正しい確率をどれくらい信頼していいか」に直結する数値。カリブレーションエラーが低いモデルほど、業務投入したときに「わからないときは自信を落として応答する」ので、hallucination のリスクが下がります。
つまり HLE を見るときは、スコアの数字だけでなく Calibration Error もセットで見るのが上級者の作法です。この 2 つを組み合わせて見ることで、「スコアは高いけど自信過剰で使いにくいモデル」と「スコアはそこそこでも自信の較正がしっかりしているモデル」を区別できます。
実務での使い分け方針
主要ベンチマークを俯瞰したうえで、実務ではどう使い分けるかをまとめておきます。
- 学術知識の深さを測るなら HLE（と GPQA）
- コーディング能力なら SWE-bench Verified（汚染に注意しつつ）
- 抽象推論力（学習不可）なら ARC-AGI-2 / -3
- 実務での有用性なら GDPval
- エージェント能力なら τ2-bench、Terminal-Bench 2.0
複数のベンチマークを組み合わせて見ることで、モデルの「得意領域と苦手領域」が立体的に見えてきます。
次のセクションでは、この俯瞰を踏まえて「実務で HLE スコアをどう読むか」の具体的なチェックリストに落とし込んでいきます。ここまで来ると、AI プロダクトを作る側のみなさんには結構実用的な話になってきます。
実務での使い方。HLE スコアの正しい読み方チェックリスト
「じゃあ、うちの AI プロダクトのモデル選定で、HLE スコアはどう使えばいいの？」
このセクションでは、AI 導入検討者や AI プロダクトチームが、実際に HLE スコアを使う際の具体的なチェックリストをまとめます。ここまで見てきたスコアの動きや他ベンチマークとの違いを、現場の意思決定に落とし込むフェーズです。
先にネタバレしておくと、いちばん大事な結論は「HLE スコアだけを見てモデルを選ぶのは危険」というものです。以下、その理由と正しい使い方を順番に見ていきます。
チェック 1：同じリーダーボード内で比較する
前のセクションで書いたように、同じ Claude Fable 5 でも Artificial Analysis で 53.3%、BenchLM.ai で 64.5% と 10 ポイント以上ずれます35。
これは推論モードやツール使用条件が違うから発生する差なんですね。だから比較するときは、必ず同じリーダーボード内で複数モデルを見るのが鉄則です。
たとえばこんな順番で見ます。
- まず 1 つのリーダーボード（Vellum、Artificial Analysis、Scale Labs のどれか）を決める
- その中で気になる 3〜5 モデルのスコアを並べる
- 別のリーダーボードで裏取り（順位が変わっていないかチェック）
Vellum、Artificial Analysis、Scale Labs はどれも独立検証を売りにしていますが、条件が微妙に違うので、単一のリーダーボードだけを見るのは避けたほうがいいです。私は普段、Vellum で全体像を見て、Scale Labs で Calibration Error を確認するという 2 段構えを使っています。
チェック 2：推論モード・ツール条件を必ず確認する
「HLE スコア 55%」と書いてあっても、その内訳が何なのかを確認しましょう。
- 推論モードは？（Adaptive、Max Effort、thinking high など）
- ツール使用は？（web 検索、コード実行を許しているか）
- フォールバックモデルは？（Claude Fable 5 の場合、Opus 4.8 に難問を回すオプションがある）
具体例で見ると、Kimi K2.5 は テキストのみ・ツールなしで 31.5% ですが、ツール使用ありでは 51.8% と 20 ポイントも跳ね上がります8。同じモデルなのに、条件次第でこれだけ変わるんですね。
Iternal AI の LLM 選定ガイドはこう指摘しています8。
「ベンチマークスコアは必要だが十分ではない。同じ MMLU で 2〜3% 内に収まっているモデル同士は、その指標では区別できません。具体的なユースケースこそが本当の差別化ポイントです」
チェック 3：Calibration Error もセットで見る
前のセクションで触れた Calibration Error も、実務では相当効きます。
Scale Labs のリーダーボードから抜粋します9。
| モデル | HLE スコア | Calibration Error |
|---|---|---|
| Gemini 3.1 Pro Preview | 46.44% | 51 |
| GPT-5.4 Pro | 44.32% | 38 |
| gpt-5-2025-08-07 | 25.32% | 50 |
| gpt-5-pro-2025-10-06 | 31.64% | 49 |
Gemini 3.1 Pro Preview のスコア（46.44%）が最上位ですが、Calibration Error は 51 で自信過剰。一方 GPT-5.4 Pro はスコア 44.32% と少し低いものの、Calibration Error 38 で「自信の較正がまし」です。
実務で「AI に何かを聞いて、その答えを信頼するかどうか」を判断するとき、Calibration Error が低いモデルのほうが安全です。hallucination（もっともらしいウソ）に振り回されにくい、と言い換えてもいい。
チェック 4：HLE 単独で選ばない、複数ベンチマークを重ねる
第 3 セクションで見たように、ベンチマークにはそれぞれ得意分野があります。
- HLE：学術知識の frontier ceiling
- SWE-bench Verified：コーディング（ただし汚染懸念）
- ARC-AGI-2 / -3：抽象推論（学習不可）
- GPQA Diamond：博士級の科学
- GDPval：44 職種の実務評価
- Terminal-Bench 2.0：コマンドライン操作
「HLE で 40% 以上のモデルを 2〜3 個候補にして、タスク別に SWE-bench や GPQA も確認する」という流れが、Medium で cognidownunder さんが 2026 年のベストプラクティスとして紹介している方法です18。
チェック 5：半年に 1 回はスコアを見直す
ここ 1 年半で HLE トップが 20% → 65% に伸びたことを思い出してください。
つまり半年前に選んだモデルは、半年後には追い越されている可能性が高いんです。定期的なモデル入れ替えのオペレーションが実務では不可欠になっています。
具体的には、こんなリズムがおすすめです。
- 月次：主要リーダーボードのニュースをチェック（Vellum、Artificial Analysis、Scale Labs の更新）
- 四半期：主要タスクで A/B テスト（現行モデル vs. 新モデル）
- 半期：モデル選定を全体見直し
チェック 6：業種別の逆転現象を知っておく
面白いことに、HLE スコアの順位と、専門分野での順位が逆転することがよくあります。
たとえば眼科の質問応答テストでは、Gemini 3 Flash が 83.3% で首位に立ち、GPT-o3（79.2%）、DeepSeek-R1（74.4%）を上回りました。GPT-5 はなんと 69.1% で、Gemini 3 Flash より 14 ポイントも低かったんです20。
HLE のリーダーボードで見ると、Gemini 3 Flash は上位ではありません。でも眼科という特定領域では、GPT-5 系よりも「使える」モデルだった、というわけです。
これはコーディングでも同じで、Gemini 3 Flash が SWE-bench Verified で 78.0% を出し、上位版の Gemini 3 Pro（76.2%）を上回るという「Flash が Pro に勝つ」現象も起きています18。
結局のところ、HLE スコアはあくまで「学術知識全般の目安」であって、実務の特化タスクではまた別のベンチマークや A/B テストが必要になる、ということ。
チェック 7：FutureHouse の 29% 誤答問題をどう受け止めるか
もう 1 つ、AI 評価コミュニティでは有名なホットな話題があります。
2025 年 9 月、FutureHouse というバイオ AI 系のスタートアップの Andrew White さんが「HLE の化学・生物領域の 29 ± 3.7% の問題が誤答」と発表しました721。
具体例として挙がったのは、「2002 年当時、地球上の物質存在率で最も稀な貴ガスは Oganesson か？」という問題で、正解が「Yes」となっていたけれど、複数の査読論文で矛盾する記述がある、というもの。
Scale AI 側もこれを受けて 2025 年 9 月にプレプリントを改訂し、独自監査で健康・生物・化学サブセットの誤答率を 18% と結論しました21。ただし「1 人でも異論を出した専門家がいる」基準では 25% に跳ね上がるとも認めています。
実務での受け止め方はどう考えるといいのか。これは HLE を否定する話ではなく、「どんなベンチマークにも一定の誤答が含まれる」というリアリティを示しています。MMLU の Virology サブセットが 57% 誤答だった前例もあるので、HLE の 18〜29% 誤答は業界標準の範疇とも言えます8。
ただ AI 導入の意思決定では、「HLE 60% のモデル」と言われても、そのうち 18% は誤答が含まれる可能性があると割り引いて見ておきましょう。実効的なスコアは 5〜10 ポイント低いと見積もっておくのが安全です。
まとめ：HLE スコアを使いこなす 7 つのチェック
ここまでを 1 つの表にまとめておきます。
| チェック項目 | 具体的にやること |
|---|---|
| 1. 同じリーダーボード内で比較 | Vellum / Artificial Analysis / Scale Labs をまたがない |
| 2. 推論モード・ツール条件を確認 | Adaptive、Max Effort、ツール使用の有無を明示 |
| 3. Calibration Error も見る | Scale Labs の Calib Err を並記 |
| 4. HLE 単独で選ばない | GPQA、SWE-bench、GDPval と重ねる |
| 5. 半年に 1 回見直す | 月次でニュース、四半期で A/B、半期で全体 |
| 6. 業種別の逆転現象を知る | 眼科では Gemini 3 Flash が GPT-5 に勝つ、など |
| 7. 誤答率 18〜29% を割り引く | HLE 60% は実質 50%台と見積もる |
このチェックリストを頭に入れておくと、AI プロダクトの意思決定で「HLE スコアがトップだから」と単純に選んで後悔することが防げます。
次のセクションでは、「HLE も飽和した後、AI 評価はどう変わっていくのか」と、Snorbe を使ったモデル選定の実務ループを紹介します。ここは実際に「今すぐ試せる」レベルの具体手順まで落とします。
「試験の終わり」以降の AI 評価。Snorbe でモデル選定の反復ループを回す
さて、最後のセクションです。
ここまで見てきたように、HLE も 1〜2 年で飽和する見込みが高いです。MMLU の後継として作られた HLE が、また新しい後継を必要とする、というのがベンチマーク業界の宿命です。
このセクションでは 2 つのことを扱います。前半で「HLE 以降の AI 評価はどこへ向かうか」、後半で「Snorbe（私たちが作っている AI 調査エージェント）を使って、モデル選定を実務ループとして回す方法」を紹介します。
HLE 飽和後のベンチマーク候補
1 つ目の話題、HLE の後継候補から見ていきましょう。
SWE-bench Pro：SWE-bench Verified の汚染耐性版
前のセクションで触れたように、SWE-bench Verified は 80% 台に達し、しかも訓練データ汚染の懸念もあります。SWE-bench Pro はこれを改善して、より新しい・より複雑な Issue で評価する後継として、OpenAI などが 2026 年に整備中です814。
ARC-AGI-3：抽象推論の最終フロンティア
ARC-AGI-3 は、フロンティアモデルでも 13% しか取れないほど難易度が飛び抜けて高いテストです19。抽象パターンをその場で類推する必要があり、訓練データに答えを混ぜても解けない設計。「学習では突破できない」というのが最大の特徴です。
現状の伸びを外挿しても、ARC-AGI-3 が飽和するのは 2028 年以降と予想されています。当面、AGI 議論のもう 1 つの主軸ベンチマークとして機能しそうです。
GDPval：実務評価への転換点
前のセクションでも紹介した GDPval は、AI 評価の軸を「試験」から「実務」へ移す象徴的な指標です。44 職種の実務タスクを、14 年以上経験の専門家が判定します16。
現時点でトップは GPT-5.2 の 49.7%。Claude Opus 4.5 が 45.5%、Gemini 3 Pro Preview が 40.3% で、HLE とは違う勢力図です。「学術知識」より「実際の職業タスクで役に立つか」という指標なので、AI 導入検討者にとってはこちらのほうが直接役立つ場面が多いです。
τ2-bench、Terminal-Bench 2.0：エージェント評価
τ2-bench は複数ステップのタスクをこなすエージェント能力を、Terminal-Bench 2.0 はコマンドライン環境での実務作業を評価するベンチマークです16。
これらは「1 問 1 答」を超えて、「AI が現実の環境で複数のツールを使い、目標を達成できるか」を測ります。2026 年後半以降、AI エージェント時代の評価軸として主流になっていく見込みです。
評価軸の変化：「試験」から「実務」へ
こうして並べてみると、HLE 飽和後の評価は 3 つの方向に分岐しそうです。
- より難しい学術試験（HLE-Rolling、その先の後継）
- 抽象推論の純粋テスト（ARC-AGI-3 系）
- 実務・エージェント評価（GDPval、τ2-bench、Terminal-Bench）
Kili Technology は「エンタープライズのエージェント AI システムでは、ベンチマークスコアと現実運用のパフォーマンスに 37% のギャップがある」と指摘しています15。しかも同じ精度を出すのにコストが 50 倍も違う、というケースまである。
これが意味しているのは、公開ベンチマークだけでは、実務での「本当の性能」は測れないということ。だから最終的には、自社の実タスクで A/B テストする運用が必須になります。
Snorbe で「モデル選定の反復ループ」を回す
ここからが実務のオペレーションの話です。
Deskrex では Snorbe という AI 調査エージェントを提供しています。Snorbe は、Claude Fable 5、GPT-5.5、Gemini 3.1 Pro、DeepSeek V4 Pro、Kimi K2.6 など、HLE 上位のモデルを裏で切り替えて使えるようになっています。
Snorbe の面白いところは、「どのモデルで、どのタスクをやったか」がナレッジグラフとして残るところ。つまり、モデル選定の反復ループを実務のなかで自然に蓄積できるんです。
具体的にはこんな 3 ステップで回します。
ステップ 1：同じテーマを 2 モデルで並走 DR
たとえば「半導体業界の HBM4 市場動向」を調査するとき、Snorbe に Claude Fable 5 と Gemini 3.1 Pro の両方で DeepResearch を走らせます。両方とも HLE 上位モデルなので、学術知識の深さは似ているはず。でも実際にリサーチ結果を並べてみると、引用ソースの多様性や結論の切れ味に差が出ることが多いです。
ステップ 2：結果をワークスペースのグラフに保存
Snorbe は 完全記憶型のナレッジグラフを持っています。DR の結果は、ワークスペースに「モデル A の結論」「モデル B の結論」として並列で保存され、「モデル A は特許ソースを重視、モデル B は学術論文を重視」といった傾向まで自動で紐付きます。
これは、単に「モデル比較の実験結果」を残すだけでなく、「次に似たテーマを調べるとき、どのモデルに聞くべきか」の判断材料になります。
ステップ 3：分野別のモデル相性を蓄積する
半年ほど Snorbe を運用すると、ワークスペースには次のような相性データが自然に貯まります。
- 特許系リサーチ：Claude 5 系が強い（引用の網羅性）
- 学術文献レビュー：Gemini 3.1 Pro が強い（arXiv の深掘り）
- 短時間で結論だけほしい：DeepSeek V4 Flash が最速で 8 割の質
- コスト最優先の日常調査：Kimi K2.6 の thinking モード
こうなると、「HLE スコア」という抽象的な指標ではなく、自社のタスクに紐付いた「モデル × タスク相性の地図」が手元にできる状態になります。
Snorbe のクエリはすべて自然な日本語で投げられて、ナレッジグラフベースなので過去の記憶と自動連結します。「特許を CJK 圏中心に、直近 6 か月で HBM4 の周辺技術を洗って」といったふわっとした要求でも、過去のワークスペースの文脈を踏まえて解釈してくれます。
Snorbe を試してみたい方は、https://lp.deskrex.ai/ からご相談ください。今から反復ループを回し始めれば、半年後には「HLE スコアより自社データで選ぶ」段階に立てます。
この記事のまとめ
長くなったので、最後にキーポイントを 5 つに絞ります。
- HLE は CAIS + Scale AI が作った 2,500 問の「AI 最終試験」。50 カ国 1,000 人、賞金 50 万ドルという規模で作られました。
- 1 年半でトップスコアが 20% → 65% に伸びた。MMLU と同じく 2026 年末〜2027 年初頭に飽和する可能性が高いです。
- 同じモデルでもリーダーボードで 10 ポイント差が出るので、推論モード・ツール条件・Calibration Error まで見る必要があります。
- HLE 単独で選ばず、GPQA・SWE-bench・GDPval など複数指標で判断するのが 2026 年のベストプラクティス。業種別の逆転現象（眼科では Gemini 3 Flash が勝つ、など）も知っておきましょう。
- HLE 飽和後は GDPval や τ2-bench の実務評価が主流になります。Snorbe のようにモデル × タスク相性を実務で蓄積する反復ループが、公開ベンチマークを補完する軸になっていきそうです。
HLE のスコアを追いかけるだけでは、AI 導入の意思決定は成り立たなくなっています。「試験の点数」から「自社データで測る実装」へ、AI 評価のフェーズが変わりつつあるのが 2026 年 7 月の景色です。この記事が、その景色をつかむ最初のきっかけになれば嬉しいです。
よくある質問
Q1. HLE の正式名称と読み方は？
HLE は Humanity’s Last Exam（ヒューマニティーズ・ラスト・エグザム） の略称です。日本語では「人類最後の試験」と訳されることが多く、Center for AI Safety（CAIS）と Scale AI が共同で開発した AI 評価ベンチマークを指します1。
Q2. HLE は誰でも受けられますか？
いいえ、HLE は人間が受験するテストではなく、AI モデル向けのベンチマークです。全 2,500 問のうち一部が公開されており、Hugging Face の cais/hle データセットから開発者が自由に AI モデルの評価用にダウンロードできます10。ただし訓練データ汚染を防ぐため、一部の問題は非公開で運営されています。
Q3. 2026 年 7 月時点で最も HLE スコアが高いモデルはどれですか？
Anthropic の Claude Fable 5 が最高スコアを記録しています。独立検証機関の Artificial Analysis の測定では 53.3%、BenchLM.ai の集計では 64.5% と、リーダーボードによって数字は変わりますが、いずれも 1 位です356。次点で Claude Mythos 5、Claude Opus 4.8、GPT-5.4 Pro、GLM-5.2 が続きます。
Q4. なぜ同じモデルでもリーダーボードによってスコアが違うのですか？
主に 3 つの理由があります8。
- 推論モードの違い（Adaptive Reasoning、Max Effort、thinking high など）
- フォールバックモデルの有無（難問を上位モデルに回す設定を許すか）
- ツール使用の有無（web 検索やコード実行を許すか）
同じ Claude Fable 5 でも、Artificial Analysis では「Adaptive Reasoning + Max Effort + Opus 4.8 Fallback」で 53.3%、BenchLM.ai では別条件で 64.5% と 10 ポイント以上の差が出ます35。スコアの数字だけでなく、評価条件を必ず確認しましょう。
Q5. HLE と MMLU、GPQA Diamond の違いは何ですか？
- MMLU：57 分野の一般学力テスト。トップモデルは 94% 超で飽和済み。
- GPQA Diamond：PhD 級の科学問題 198 問。トップは 94.3% で飽和接近中。
- HLE：2,500 問の学術知識 frontier ceiling テスト。トップでも 65% でまだ 35 ポイントの余地あり。
HLE は 3 つの中で最も難しく、かつ数学・人文・社会科学まで含む幅広い分野をカバーしています。
Q6. HLE の問題には誤答があるって本当ですか？
はい、事実です。2025 年 9 月に FutureHouse の Andrew White 氏 が「HLE の化学・生物領域の 29 ± 3.7% が誤答（peer-reviewed literature と矛盾）」と発表しました217。
Scale AI 側も 2025 年 9 月にプレプリントを改訂し、独自監査で 18% の誤答率を認めました21。ただし MMLU の Virology サブセットで 57% 誤答という先例もあるので、業界標準の範疇とも言えます。実務では HLE スコアを 5〜10 ポイント割り引いて見るのが安全です。
Q7. HLE スコアが高いモデルは、実務でも役に立ちますか？
用途によります。学術的な調査、専門文献のスクリーニング、複雑な reasoning が必要なタスクでは HLE 上位モデルが有力候補になります。ただし、業種特化タスクでは順位が逆転することがあります。
たとえば眼科の質問応答では、Gemini 3 Flash が 83.3% で GPT-5（69.1%）を大きく上回りました20。コーディングでも Gemini 3 Flash が SWE-bench Verified で 78.0% を出し、上位版の Gemini 3 Pro（76.2%）を上回る現象が起きています18。
HLE 単独で選ばず、GPQA・SWE-bench・GDPval など複数指標を組み合わせて判断するのが実務のベストプラクティスです。
Q8. HLE は今後も使い続けられますか？飽和しませんか？
飽和する可能性が高いです。MMLU が 3 年で飽和したペースを踏まえると、HLE は 2026 年末〜2027 年初頭に 80% 台に到達して differentiation 力を失うと予想されています1514。
CAIS は対策として、継続的に問題を追加する HLE-Rolling を 2025 年 10 月にリリース済みです7。HLE 飽和後の後継としては、SWE-bench Pro、ARC-AGI-3、GDPval、τ2-bench、Terminal-Bench 2.0 などが有力候補として挙がっています。
調査手法について
こちらの記事はグラフAIリサーチプラットフォームのSnorbeを使って作られています。Snorbeは研究開発・新規事業向けの調査テーマに応じた幅広い項目のオートリサーチや、ナレッジグラフの構築、構造化レポートの生成ができるAIリサーチツールです。
Screenshot
調査したいテーマを入力するだけで、AIが深堀りすべき観点や広げるべき調査項目をレコメンドしながら、自動でリサーチを進めます。収集した情報はナレッジグラフとして蓄積され、未調査領域（ホワイトスペース）を可視化しながら調査の網羅性を高めていけます。
また、観点マトリクスを30秒・構造化レポートを10分で自動生成する機能があり、出典付きのレポートをMarkdown/PDF形式でエクスポートできます。調査の元データも保存されるため、ファクトチェックや社内共有も容易です。
ご利用をご希望の方は、こちらよりお申し込みください。
また、グラフAIを活用した社内ナレッジ管理や、研究開発・新規事業のリサーチ支援、セルフホスト導入のご相談も受け付けています。お困りの方はお気軽にご連絡ください。
市場調査やデスクリサーチの生成AIエージェントを作っています 仲間探し中 / Founder of AI Desk Research Agent @deskrex , https://deskrex.ai
