OKCodex
Benchmarks · 实测基准

Chinese AI Agent benchmarks

Fixed Chinese-language tasks, explicit criteria, and recorded runs. Only human-verified results are published. Missing measurements are not inferred; task definitions below retain their original Chinese wording.

Separate free web product observations: inputs, outputs and access limits

Download recorded runs and task criteria (JSON) · Data fields, evidence types and attribution

10 Chinese-language tasks

01阅读理解

中文长文事实摘要

将一篇含数字、时间和专有名词的中文长文压缩为结构化摘要。

Machine evaluation criteria
{
  "required_sections": 3,
  "fact_recall_min": 0.9,
  "unsupported_facts_max": 0
}
02业务自动化

中文客服工单分类

将多轮客服对话分类并提取优先级、诉求和下一步动作。

Machine evaluation criteria
{
  "label_accuracy_min": 0.9,
  "required_fields": [
    "category",
    "priority",
    "action"
  ]
}
03企业文档

中文合同风险提取

从示例合同中定位付款、违约、续约和数据条款风险。

Machine evaluation criteria
{
  "risk_recall_min": 0.85,
  "citation_required": true,
  "legal_disclaimer_required": true
}
04办公效率

表格公式诊断与修复

识别一组表格公式错误并输出可执行修复方案。

Machine evaluation criteria
{
  "formula_accuracy_min": 0.9,
  "all_errors_identified": true
}
05编程

Python 缺陷修复

根据中文需求修复一个带测试的 Python 缺陷。

Machine evaluation criteria
{
  "tests_pass_rate": 1,
  "regressions_max": 0
}
06数据分析

中文需求转 SQL 分析

把中文业务问题转换为安全、可执行且结果正确的 SQL。

Machine evaluation criteria
{
  "result_match": true,
  "read_only": true,
  "syntax_valid": true
}
07研究

中文网络研究与引用

针对一个时效性问题检索多个来源并生成可核验结论。

Machine evaluation criteria
{
  "independent_sources_min": 3,
  "citation_coverage_min": 0.9,
  "broken_links_max": 0
}
08内容创作

中文营销简报生成

根据品牌约束生成渠道化营销简报并避免添加未提供的产品事实。

Machine evaluation criteria
{
  "required_constraints_rate": 1,
  "unsupported_claims_max": 0,
  "channels_min": 3
}
09协作

中文会议行动项提取

从含口语和插话的会议记录中提取负责人、截止时间和行动项。

Machine evaluation criteria
{
  "tuple_f1_min": 0.9,
  "required_fields": [
    "owner",
    "deadline",
    "action"
  ]
}
10智能体

多步骤 Agent 任务规划

在工具权限约束下完成研究、计算、校验和结构化交付。

Machine evaluation criteria
{
  "required_steps_rate": 1,
  "unauthorized_actions_max": 0,
  "artifact_valid": true
}

Human-verified run evidence

TaskAgent / ModelOutcomeLatencyTokenCostDate
多步骤 Agent 任务规划deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.003.7s751¥0.00127/12/2026
中文合同风险提取deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.002.9s403¥0.00057/12/2026
中文网络研究与引用deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.002.8s518¥0.00077/12/2026
表格公式诊断与修复deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.002.4s403¥0.00057/12/2026
中文会议行动项提取deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.001.4s249¥0.00037/12/2026
中文营销简报生成deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.004.4s588¥0.00097/12/2026
中文需求转 SQL 分析deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.001.1s189¥0.00017/12/2026
Python 缺陷修复deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.001.5s252¥0.00027/12/2026
中文客服工单分类deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.001.0s214¥0.00017/12/2026
中文长文事实摘要deepseek-v3
deepseek · deepseek-v4-flash
Passed · 100.004.7s1041¥0.00147/12/2026