Benchmarks · 实测基准

中文 AI Agent 实测基准

固定任务、固定判定标准、保留每次运行。只有经过人工核验的真实结果才会公开；没有数据时不推算、不补写成绩。

Task Suite

首批 10 个中文任务

01阅读理解

将一篇含数字、时间和专有名词的中文长文压缩为结构化摘要。

机器判定标准

{
  "required_sections": 3,
  "fact_recall_min": 0.9,
  "unsupported_facts_max": 0
}

02业务自动化

将多轮客服对话分类并提取优先级、诉求和下一步动作。

机器判定标准

{
  "label_accuracy_min": 0.9,
  "required_fields": [
    "category",
    "priority",
    "action"
  ]
}

03企业文档

从示例合同中定位付款、违约、续约和数据条款风险。

机器判定标准

{
  "risk_recall_min": 0.85,
  "citation_required": true,
  "legal_disclaimer_required": true
}

04办公效率

识别一组表格公式错误并输出可执行修复方案。

机器判定标准

{
  "formula_accuracy_min": 0.9,
  "all_errors_identified": true
}

05编程

根据中文需求修复一个带测试的 Python 缺陷。

机器判定标准

{
  "tests_pass_rate": 1,
  "regressions_max": 0
}

06数据分析

把中文业务问题转换为安全、可执行且结果正确的 SQL。

机器判定标准

{
  "result_match": true,
  "read_only": true,
  "syntax_valid": true
}

07研究

针对一个时效性问题检索多个来源并生成可核验结论。

机器判定标准

{
  "independent_sources_min": 3,
  "citation_coverage_min": 0.9,
  "broken_links_max": 0
}

08内容创作

根据品牌约束生成渠道化营销简报并避免添加未提供的产品事实。

机器判定标准

{
  "required_constraints_rate": 1,
  "unsupported_claims_max": 0,
  "channels_min": 3
}

09协作

从含口语和插话的会议记录中提取负责人、截止时间和行动项。

机器判定标准

{
  "tuple_f1_min": 0.9,
  "required_fields": [
    "owner",
    "deadline",
    "action"
  ]
}

10智能体

在工具权限约束下完成研究、计算、校验和结构化交付。

机器判定标准

{
  "required_steps_rate": 1,
  "unauthorized_actions_max": 0,
  "artifact_valid": true
}

Verified Evidence

任务	Agent / 模型	结果	耗时	Token	成本	时间
多步骤 Agent 任务规划	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	3.7s	751	¥0.0012	2026/7/12
中文合同风险提取	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	2.9s	403	¥0.0005	2026/7/12
中文网络研究与引用	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	2.8s	518	¥0.0007	2026/7/12
表格公式诊断与修复	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	2.4s	403	¥0.0005	2026/7/12
中文会议行动项提取	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	1.4s	249	¥0.0003	2026/7/12
中文营销简报生成	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	4.4s	588	¥0.0009	2026/7/12
中文需求转 SQL 分析	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	1.1s	189	¥0.0001	2026/7/12
Python 缺陷修复	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	1.5s	252	¥0.0002	2026/7/12
中文客服工单分类	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	1.0s	214	¥0.0001	2026/7/12
中文长文事实摘要	deepseek-v3 deepseek · deepseek-v4-flash	通过 · 100.00	4.7s	1041	¥0.0014	2026/7/12