Benchmarks · 实测基准

中文 AI Agent 实测基准

固定任务、固定判定标准、保留每次运行。只有经过人工核验的真实结果才会公开；没有数据时不推算、不补写成绩。

Task Suite

首批 10 个中文任务

01阅读理解

将一篇含数字、时间和专有名词的中文长文压缩为结构化摘要。

机器判定标准

{
  "required_sections": 3,
  "fact_recall_min": 0.9,
  "unsupported_facts_max": 0
}

02业务自动化

将多轮客服对话分类并提取优先级、诉求和下一步动作。

机器判定标准

{
  "label_accuracy_min": 0.9,
  "required_fields": [
    "category",
    "priority",
    "action"
  ]
}

03企业文档

从示例合同中定位付款、违约、续约和数据条款风险。

机器判定标准

{
  "risk_recall_min": 0.85,
  "citation_required": true,
  "legal_disclaimer_required": true
}

04办公效率

识别一组表格公式错误并输出可执行修复方案。

机器判定标准

{
  "formula_accuracy_min": 0.9,
  "all_errors_identified": true
}

05编程

根据中文需求修复一个带测试的 Python 缺陷。

机器判定标准

{
  "tests_pass_rate": 1,
  "regressions_max": 0
}

06数据分析

把中文业务问题转换为安全、可执行且结果正确的 SQL。

机器判定标准

{
  "result_match": true,
  "read_only": true,
  "syntax_valid": true
}

07研究

针对一个时效性问题检索多个来源并生成可核验结论。

机器判定标准

{
  "independent_sources_min": 3,
  "citation_coverage_min": 0.9,
  "broken_links_max": 0
}

08内容创作

根据品牌约束生成渠道化营销简报并避免添加未提供的产品事实。

机器判定标准

{
  "required_constraints_rate": 1,
  "unsupported_claims_max": 0,
  "channels_min": 3
}

09协作

从含口语和插话的会议记录中提取负责人、截止时间和行动项。

机器判定标准

{
  "tuple_f1_min": 0.9,
  "required_fields": [
    "owner",
    "deadline",
    "action"
  ]
}

10智能体

在工具权限约束下完成研究、计算、校验和结构化交付。

机器判定标准

{
  "required_steps_rate": 1,
  "unauthorized_actions_max": 0,
  "artifact_valid": true
}

Verified Evidence

尚无已验证结果

任务与数据结构已经就绪。真实运行完成并通过人工核验后，结果才会出现在这里。