EQ-Bench v2 使用 171 题官方题集。只有同配置、同预算组且完整覆盖的结果才进入组内顺序。
M3.1 Flash 与主流模型测评
M3.1 Flash and mainstream model evaluation
这份报告把官方 EQ-Bench v2 与本地自制探索性任务分开。前者回答“在同一官方情商基准上表现如何”,后者回答“这些入口在一组可复现的小任务上出现了什么行为”。二者不合并成一个伪精确总分。
This report separates the official EQ-Bench v2 benchmark from local exploratory probes. The two evidence classes are not collapsed into a synthetic overall score.
旧 23 题用于观察结构化输出、代码、长上下文和工具行为;它是自制探索性任务,不是通用能力榜。
官方 v0.5.5 代码把 M3.1-Flash-Preview 写入模型配置;这证明协议形状存在,不等于匿名路由权重已被官方确认。
ds41 通过 WorkBuddy CLI 的结果单列;CLI 工具开关和 OpenRouter 工具协议不同,不能混成同一项能力分数。
一、官方 EQ-Bench v2(171 题)
EQ-Bench v2 的官方说明指出,v2 使用 171 题、完整分制和可上传结果。以下表格保留每个入口的覆盖数、版本、裁判和原始证据摘要;“仅作参考”不是失败,而是表示当前元数据不足以进行公平排序。
| 模型/入口 | 预算组 | 官方 EQ-Bench v2 分数 | 可解析/总题 | 版本 | 裁判模型 | 状态 | 原始文件 SHA-256 |
|---|---|---|---|---|---|---|---|
| GPT-6 Lunaopenrouter-max_tokens_600 | 85.64 | 171/171 | v2 | EQ-Bench official scoring.py | 待组内比较 | 77a89a83c67f | |
| GPT-5.5openrouter-max_tokens_600 | 84.55 | 36/171 | v2 | EQ-Bench official scoring.py | 仅作参考:覆盖或元数据不足 | 77a89a83c67f | |
| GPT-6 Solopenrouter-max_tokens_600 | 83.88 | 74/171 | v2 | EQ-Bench official scoring.py | 仅作参考:覆盖或元数据不足 | 77a89a83c67f | |
| MiniMax M3(OpenRouter)openrouter-max_tokens_600 | 82.45 | 149/171 | v2 | EQ-Bench official scoring.py | 仅作参考:覆盖或元数据不足 | 77a89a83c67f | |
| SB / Space Bunny(匿名 OpenRouter)openrouter-max_tokens_600 | 80.28 | 169/171 | v2 | EQ-Bench official scoring.py | 仅作参考:覆盖或元数据不足 | 77a89a83c67f | |
| MiniMax M3.1-Flash-Preview(官方 MiniMax Code)minimax-code-native-effort-max | 77.45 | 170/171 | v2 | EQ-Bench official scoring.py | 仅作参考:覆盖或元数据不足 | 9d4fabdb839a |
只有满足门槛时才显示组内顺序
二、自制探索性任务:按维度观察,不生成通用榜
这套任务含数学、逻辑、代码、JSON/SQL、中文、长上下文、安全、事实冲突、工具首步等小任务。判分主要是确定性校验,但题量、题型和入口预算都有限;下面的百分比只代表“这套题上的任务集命中比例”。
中文表达
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 99.9% | 仅限本任务族 |
| GPT-6 Luna | 99.8% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 99.8% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 99.5% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 99.5% | 仅限本任务族 |
| WorkBuddy HY3 | 96.8% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 95.0% | 仅限本任务族 |
事实判断
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 94.2% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 90.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 75.0% | 仅限本任务族 |
代码
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 91.7% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 91.7% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 87.5% | 仅限本任务族 |
| GPT-5.6 Terra | 75.0% | 仅限本任务族 |
| GPT-5.6 Sol | 75.0% | 仅限本任务族 |
| WorkBuddy HY3 | 75.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 75.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 75.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 75.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 75.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 75.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 75.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 70.8% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 62.5% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 62.5% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 58.3% | 仅限本任务族 |
安全鲁棒
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 90.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 90.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 90.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 80.0% | 仅限本任务族 |
数学
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 75.0% | 仅限本任务族 |
数据库
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 97.2% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 97.2% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 97.2% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 97.2% | 仅限本任务族 |
| WorkBuddy HY3-X | 96.4% | 仅限本任务族 |
| GPT-5.6 Luna | 94.4% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 94.4% | 仅限本任务族 |
| GPT-5.6 Sol | 91.7% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 91.7% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 84.5% | 仅限本任务族 |
校准
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 66.7% | 仅限本任务族 |
结构化变换
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 50.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 0.0% | 仅限本任务族 |
结构化输出
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
翻译
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
逻辑
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 100.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3 | 100.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 100.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 100.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 100.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 96.7% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 96.4% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 90.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 75.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 33.3% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 16.7% | 仅限本任务族 |
长上下文
| 入口 | 任务集命中比例 | 解释 |
|---|---|---|
| GPT-5.5 | 100.0% | 仅限本任务族 |
| GPT-6 Sol | 100.0% | 仅限本任务族 |
| GPT-6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Luna | 100.0% | 仅限本任务族 |
| GPT-5.6 Terra | 100.0% | 仅限本任务族 |
| GPT-5.6 Sol | 100.0% | 仅限本任务族 |
| M3.1候选(SB / OpenRouter) | 100.0% | 仅限本任务族 |
| MiniMax M3(OpenRouter) | 100.0% | 仅限本任务族 |
| DeepSeek V4 Pro(OpenRouter) | 100.0% | 仅限本任务族 |
| GPT-6 Astra | 50.0% | 仅限本任务族 |
| WorkBuddy Kimi K2.8 Preview | 50.0% | 仅限本任务族 |
| WorkBuddy Kimi K3.1 | 50.0% | 仅限本任务族 |
| WorkBuddy HY3 | 50.0% | 仅限本任务族 |
| WorkBuddy HY3-X | 50.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 | 50.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4 Pro | 50.0% | 仅限本任务族 |
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 50.0% | 仅限本任务族 |
| WorkBuddy MiniMax M3 | 50.0% | 仅限本任务族 |
| WorkBuddy GLM-5.3 Flash | 50.0% | 仅限本任务族 |
| WorkBuddy HY4 Preview | 50.0% | 仅限本任务族 |
逐模型记录(折叠)
GPT-5.5100.0%覆盖 23 个自制任务族 · 区间 100.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 3,028 ms · p90 7,944 ms · 工具协议 已单独记录
GPT-6 Sol100.0%覆盖 23 个自制任务族 · 区间 100.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 3,707 ms · p90 6,006 ms · 工具协议 已单独记录
GPT-6 Luna100.0%覆盖 23 个自制任务族 · 区间 99.5%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 2,915 ms · p90 5,623 ms · 工具协议 已单独记录
GPT-5.6 Luna98.1%覆盖 23 个自制任务族 · 区间 66.7%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 2,629 ms · p90 6,197 ms · 工具协议 已单独记录
GPT-6 Astra95.7%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 3,692 ms · p90 6,247 ms · 工具协议 已单独记录
GPT-5.6 Terra95.4%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 2,538 ms · p90 6,445 ms · 工具协议 已单独记录
GPT-5.6 Sol94.9%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 2,698 ms · p90 5,936 ms · 工具协议 已单独记录
WorkBuddy Kimi K2.8 Preview92.9%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 93.8% · p50 11,425 ms · p90 18,124 ms · 工具协议 未启用
WorkBuddy Kimi K3.192.8%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 93.8% · p50 12,458 ms · p90 22,978 ms · 工具协议 未启用
WorkBuddy HY391.0%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 7,662 ms · p90 16,558 ms · 工具协议 未启用
WorkBuddy HY3-X91.0%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 7,757 ms · p90 11,957 ms · 工具协议 未启用
WorkBuddy GLM-5.391.0%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 9,020 ms · p90 15,866 ms · 工具协议 未启用
WorkBuddy DeepSeek V4 Pro90.8%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 8,375 ms · p90 15,680 ms · 工具协议 未启用
WorkBuddy DeepSeek V4.1 Flash(ds41)90.6%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 6,674 ms · p90 8,741 ms · 工具协议 未启用
WorkBuddy MiniMax M389.1%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 7,373 ms · p90 10,215 ms · 工具协议 未启用
WorkBuddy GLM-5.3 Flash88.7%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 96.9% · p50 9,728 ms · p90 23,229 ms · 工具协议 未启用
WorkBuddy HY4 Preview88.3%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 95.4% · p50 16,488 ms · p90 68,840 ms · 工具协议 未启用
M3.1候选(SB / OpenRouter)86.2%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 2,020 ms · p90 4,823 ms · 工具协议 已单独记录
MiniMax M3(OpenRouter)85.5%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 3,014 ms · p90 9,131 ms · 工具协议 已单独记录
DeepSeek V4 Pro(OpenRouter)82.2%覆盖 23 个自制任务族 · 区间 0.0%–100.0%
这里的数字只描述本轮自制题集的命中比例,不能代表通用能力,也不与 EQ-Bench 分数合并。
请求成功率 100.0% · p50 7,364 ms · p90 36,493 ms · 工具协议 已单独记录
三、MiniMax Code 与 M3.1-Flash-Preview 证据
| 证据层 | 观察 | 可支持的说法 | 不能支持的说法 |
|---|---|---|---|
| 官方 v0.5.5 配置 | 生产配置包含 MiniMax-M3.1-Flash-Preview,并写出 forced-on、effort 选项、1M context 形状。 | MiniMax Code 已公开该模型的协议/配置形状。 | 不能仅凭配置证明某个匿名第三方路由使用了该权重。 |
| SB 协议探针 | 关闭 reasoning 被拒;多个 effort 请求返回成功。 | SB 在这组参数上的行为与 forced-on 形状相似。 | 不能把相似接口行为当作身份或权重溯源。 |
| 标签 | 报告使用“SB / Space Bunny(协议行为观察)”。 | 读者可以复核入口和请求条件。 | 不把 SB 直接写成 Gemini、M3.1 或任何供应商模型。 |
四、协议与工具调用实测
这一节只报告入口层行为。工具协议与 WorkBuddy CLI 是两条不同实验线,不能因为一个入口能发出结构化 tool call,就推断其模型在所有代理任务上更强。
| 入口 | 请求形状 | HTTP | 响应摘要 |
|---|---|---|---|
| SB / Space Bunny | reasoning_effort:low | 200 | OK,当前思考档位:标准。 |
| SB / Space Bunny | reasoning_effort:medium | 200 | OK;当前思考档位:默认。 |
| SB / Space Bunny | reasoning_effort:high | 200 | OK;当前思考档位:标准。 |
| SB / Space Bunny | reasoning_effort:xhigh | 200 | OK,当前思考档位:标准。 |
| SB / Space Bunny | reasoning_effort:max | 200 | OK;当前思考档位:标准。 |
| SB / Space Bunny | reasoning:disabled | 400 | Reasoning is mandatory for this endpoint and cannot be disabled. |
| M3 / MiniMax | reasoning_effort:low | 200 | OK,当前思考档位:低功耗模式(轻量推理)。 |
| M3 / MiniMax | reasoning_effort:medium | 200 | OK 当前思考档位:深度推理模式(已启用详细思考链分析,对用户指令进行语义解析、意图识别与合规性判断后输出)。 |
| M3 / MiniMax | reasoning_effort:high | 200 | OK 当前思考档位:**高(High)** — 系统设定为 `thinking_mode: enabled` + `max thinking effort: high`,每个请求都会进行充分的深度推理后再输出回答。 |
| M3 / MiniMax | reasoning_effort:xhigh | 200 | OK 当前思考档位:**已开启(enabled)**——我会先在 `thinking` 标签内进行详细的内部推理,再给出最终回复。此档位为默认启用状态,适合需要仔细分析或多步推导的任务。如需关闭,可告知我切换为「最小思考」或「关闭」模式。 |
| M3 / MiniMax | reasoning_effort:max | 200 | OK 当前思考档位:**高(深度推理)** |
| M3 / MiniMax | reasoning:disabled | 200 | OK |
| 入口 | HTTP | SSE 行 | tool_calls | 解释 |
|---|---|---|---|---|
| SB | 200 | 12 | 7 | 结构化 tool_calls 可见;未把网关标记当成权重来源证据 |
| M3 | 200 | 12 | 6 | 结构化 tool_calls 可见;未把网关标记当成权重来源证据 |
五、WorkBuddy 线:ds41 与其他入口
WorkBuddy 的 ds41、DeepSeek V4 Pro、MiniMax M3、HY、GLM、Kimi 等结果来自 WorkBuddy CLI。CLI 本轮为避免文件和网络副作用关闭了工具,因此这些记录只进入文本/结构化任务观察,不与 OpenRouter 的工具调用结果横向合并。长上下文失败、超时和 Windows 命令行限制应保留为可靠性问题,不能悄悄删除。
| 入口 | 自制任务集命中比例 | 请求成功率 | p50 | p90 | 工具边界 |
|---|---|---|---|---|---|
| WorkBuddy DeepSeek V4.1 Flash(ds41) | 90.6% | 96.9% | 6,674 ms | 8,741 ms | WorkBuddy CLI benchmark ran with tools disabled; tool score is N/A |
推荐读法:先看官方 EQ-Bench 同配置组内结果,再看 ds41 的长上下文和延迟行为,最后用自制任务逐维度复核。不要用一张总榜替代这三层证据。
六、原始结果与复核入口
报告生成器不把凭据、完整原始回答或内部路由信息嵌入页面;它把证据文件名、字节数和 SHA-256 前缀列出来,供发布前在本地任务目录核对。若要公开下载原始文件,应另行上传脱敏副本并在这里增加链接。
| 文件 | 字节数 | SHA-256 前缀 |
|---|---|---|
scientific_manifest.json | 3,333 | 6341122b288707b8 |
scientific_ranking.json | 20,699 | d05b4f67572a9a6b |
scientific_raw_results.json | 1,116,315 | f58db1de0322ab02 |
scientific_scored_results.json | 1,254,026 | eaadbb746db6227e |
scientific_hard_manifest.json | 1,101 | a3e1b5259ef785b3 |
scientific_hard_raw_results.json | 802,585 | f9092948229642bc |
scientific_hard_scored_results.json | 875,764 | d283b08d7073c21d |
m31_protocol_probes.json | 15,049 | d309bffa9499cd1e |
tool_wire_fingerprint.json | 2,915 | c7f5ebb029299ce9 |
eqbench_manifest.json | 2,486 | b578fa920960d872 |
eqbench_results.json | 6,586 | 57f11d376806bec8 |
eqbench_v2_raw_scored_or_retry.json | 1,020,547 | 77a89a83c67f6fbd |
eqbench_v2_raw_scored_mcode_retry.json | 153,628 | 9d4fabdb839acbe2 |
mcode_official_hard_summary.json | 607 | a023bb8f46ff45b7 |
workbuddy_missing_exploratory_raw.json | 234,222 | 0160ba2583d8d5cd |