SWE-bench Verified ↗
核对真实仓库问题修复与测试结果。
比较时统一 Agent 执行框架、版本、工具与预算;英文仓库任务不能代替中文指令遵循评估。
场景分类 · 编程
区分仓库修复、代码编辑与算法题评测,核对测试配置、数据污染与中文指令限制,再用同一仓库任务比较候选。公开本站运行覆盖范围与可复核证据入口。
16 款目录工具。目录评分用于浏览候选,公开评测的版本、来源与日期请核对详情页。
仓库修复、代码编辑、算法题回答的是不同问题。先核对各基准的测试条件,再让候选在同一代码库完成同一份中文任务。模型榜单分数不能单独证明某款 Agent 在你的工作流中的代码质量。
编辑选型方法 · 来源核对于 。以下外部资料不属于本站新增实测结果。
核对真实仓库问题修复与测试结果。
比较时统一 Agent 执行框架、版本、工具与预算;英文仓库任务不能代替中文指令遵循评估。
按题目时间切分核对代码生成、自修复、执行及测试输出预测。
记录题目版本、评估场景与采样参数;算法题成绩不等于多文件项目交付能力。
核对 Aider 工作流中的代码编辑、测试结果与运行配置。
由工具项目维护,不是对所有 Agent 的独立审计;核对模型版本、编辑格式、尝试次数与成本条件。
基准也有局限:OpenAI 于 2026 年 2 月发布分析,指出 SWE-bench Verified 存在测试与数据污染问题。历史分数需要谨慎解读,并以新任务交叉核验;单一榜单不能确定哪款编程 Agent 最好。 查看原始分析 ↗
下列为全站基准汇总,不是编程任务专属统计,也不是本分类全部工具的横评;请逐条核对任务与输出。
10 次已核验基准运行,覆盖 1 个目录条目。
实际运行版本:deepseek-v4-flash;最近完成运行:
运行次数不等于实测产品数。目录条目与来源评测不代表已完成产品性能实测,也不代表多产品横评。
automatic 评论是自动分析公开来源,不是人工亲测;人工发布也需要独立运行证据才能支持性能结论。
核对任务、输出与实际运行模型 →这些是用于筛选的示例任务。推荐仅在当前分类中查找,候选能力仍需核对来源或试用。
Cursor
编程能力最强的 AI IDE,把 Claude Opus 4.8 + GPT-5.5 装进编辑器
Claude Opus 4.8
写作质量最强:长文章、分析报告、代码注释无出其右
GitHub Copilot
最早也最普及的 AI 编程助手,深度绑定 GitHub 工作流
v0 by Vercel
自然语言生成可运行的 React UI,前端原型最快路径
Dify
开源 LLM 应用开发平台,100K+ GitHub Stars,自部署零锁定
Qwen3.7-Max
阿里云通义千问旗舰版:百万上下文 + 超长程 Agent 执行
Windsurf
Agentic IDE:以 Cascade 为核心的自动化编码,Cursor 的主要对手
LiveKit Agents
构建实时多模态AI应用的框架
智谱清言 GLM-5
清华技术背景的中文 Agent,GLM-5.2 百万上下文,能力对标 Opus 4.8
Supermemory
给 AI 应用与 Agent 用的长期记忆层,可自托管
gstack
AI 驱动的全栈应用生成器
MathCode
数学编码智能体,自动生成与验证解题代码
OpenSpec
AI驱动的技术规范生成工具
Semantica
语义驱动的自主智能体框架
DeepSeek API
提供函数调用、JSON输出与流式输出的开发者模型 API
Ollama 本地推理
支持离线推理的本地模型运行器;需预备模型和自有计算资源