刘轩霖-基于大模型构建代码单元测试Agent的实践

GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 基于大模型 构建代码单元测试Agent的实践 刘轩霖 字节跳动-IESQA -智能服务 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 刘轩霖 字节跳动-工程效能 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 质量和质量大模型 2. LLM的技术范式 1. 质量和质量大模型 4. 业务落地和推广 5. 总结与展望 3. 效果评测 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 1. 质量和质量大模型 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 质量和质量大模型 什么是质量 •软件产品在需求开发生命周期中满足用户显式 或隐式需求的能力 •同时符合功能性、可靠性、效率、可维护性等 质量属性的系统化程度 什么是质量大模型 •基于LLM的推理、生成与分析能力， 按照软件产品生命周期，分阶段构建 相关大模型应用Agent •需求分级、代码分级、智能单测、用 例自动化生成以及兜底能力等 •在保障产品质量的前提下，获得效率 的最大化提升 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 质量和质量大模型–具体能力 需求分级 合理分配人力 代码分级 补召风险智能单测 提前自测 促进RD采用更合理 的代码架构 测试用例自动化生成 自动化测试流程 告警反馈理解 告警智能监控、归因 需求 评审 开发- 本地编码 开发- MR测试发布线上技术 评审 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 质量和质量大模型–具体能力 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ 2. LLM的技术范式 1. 有监督模型微调(SFT) 2. 提示工程(PE) 3. 检索增强生成技术(RAG) 4. 如何设计一个单元测试生成的Agent GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ LLM大模型技术范式 大模型在「专业场景应用」的优化➡对大模型的「专业教育」 GOPS,i?X}v8?(Q?pG?XO?Qp.?J?R?@?(2025·^?5?u@ LLM大模型技术范式 有监督模型微调 （Supervised fine-tuning, SFT） 具体场景 •通用模型指令跟随能力较差 •生成用例存在语法、框架使用错误 •无法生成指定风格的代码 适用场景 •任务场景单一 •小模型在特定任务上的微调能够 追平大模型效果 核心挑战 模型不理解任务、模型输出不可控 如何让模型的输出符合预期？ 技术亮点：基于软件分析的数据准备 •数据的选取： 字节内部代码仓库、外部开源项目 多维度选取（执行路径、测试框架、代码规范等） •数据的组织：自适应上下文调整 GOPS,i?X}v8?