开发AI智能体的团队往往习惯用传统软件评估方法检查输出是否符合预期，但智能体的自主工具选择和跨源操作特性，使得仅通过输出测试难以全面刻画其行为——有时输出看起来没问题，却可能编造事实；或者结论正确，却省略了关键的验证步骤。这类隐藏的问题，需要追踪完整的执行路径才能发现，包括工具调用记录、数据返回情况以及响应的忠实度。
Agent-EvalKit是基于Apache 2.0协议的开源工具包，整合了Claude Code（Claude Code）、Kiro CLI（Kiro CLI）等AI编码助手，能将智能体评估无缝嵌入开发环境。开发者只需用自然语言描述评估目标，工具包就会自动完成源码读取、测试用例生成、评估执行，以及最终的代码级改进报告生成等全流程工作。
智能体的质量评估涉及忠实度、工具参数准确性、响应质量等多个维度，需要结合代码层面的评估和LLM评判者的分析。Agent-EvalKit的工作流程分为六个阶段：Plan阶段理解代码并生成评估计划；Data阶段生成测试用例；Trace阶段添加OpenTelemetry追踪；Run agent阶段执行测试并捕获轨迹；Eval阶段运行评估指标；Report阶段生成代码级改进建议。
以旅行研究智能体为例，其响应质量达到83.9%，但忠实度仅为32.3%——当工具返回空结果时，智能体会编造汇率等数据。针对这一问题，工具包生成的报告建议添加幻觉防护机制，并优化工具错误处理流程。
使用Agent-EvalKit需要具备AWS账户（需启用Bedrock服务）、Python 3.11及以上版本、uv工具，以及支持的编码助手。安装完成后，开发者可通过/evalkit.quick快捷命令或分阶段命令运行评估，还能将其集成到CI/CD流程中实现自动评估。使用时的最佳实践包括聚焦关键评估指标、对每一处代码变更进行评估、采用增量修复策略等。
Agent-EvalKit能让智能体评估变得系统化，并轻松融入现有开发流程。如需了解更多，可访问其GitHub仓库（GitHub仓库）获取完整文档，或参考相关研究论文（相关研究）深入了解技术细节。
快报