李健-腾讯音乐 DevOps 体系建设：奏响高效运维与创新的交响曲

腾讯音乐DevOps体系建设： 奏响高效运维与创新的交响曲 腾讯音乐高级工程师 李健 l10年运维开发和DevOps平台建设经验 l腾讯音乐DevOps平台项目负责人，主导设计和开发了DevOps管 理平台，涵盖环境管理、打通DevOps工具链、CI/CD自动化发布、 配置管理、监控告警等，显著提高了软件交付效率和质量，助力业 务快速上线、稳定运营。 目录/CONTENTS 1研发流程的现状和痛点 2DevOps引入与面临的挑战 3DevOps建设的关键要素 4DevOps建设的成果和展望 研发流程的现状和痛点 GOPS 全球运维大会暨研运数智化技术峰会2025 · 深圳站 腾讯音乐研发流程现状 开发流转 开发阶段 测试阶段发布阶段 研发流程 需求阶段 产品 开发 测试 转体验阶段 PM •攥写需求文档 •参与需求评审 •研发全流程过程监控 •推动整体项目按质按时达成目标 •组织复盘 •参与需求评审 •技术方案设计 •评估实现周期 •创建分支，按照排期完成需求 •完成自测&性能测试&转体验 开发流转产品/运营流转测试流转 •完成主体功能体验 •数据上报 •编写用例 •测试环境用例执行 •问题提单 •bug回归验证 •分支合并到主干 •创建新版本 •灰度发布 •修复漏洞，解决问题•修改体验问题 •观察外网服务 GOPS 全球运维大会暨研运数智化技术峰会2025 · 深圳站 腾讯音乐研发流程现状痛点 团队增长 代码膨胀 技术演进 •环境使用冲突，创建环境耗 时久 •仓库数量激增，代码组织架 构不一 •专注核心代码编写 •更新测试环境服务繁琐、慢 •TAPD需开发手动扭转状态 •编码没有按照规范 开发阶段 测试阶段发布阶段 研发流程痛点 转体验阶段 •测试环境的服务被覆盖， 无法查找来源 •自动化测试用例覆比例 低 •多需求并行测试环境冲 突 •发布本地编译出的产物， 存在夹带风险 •发布版本和提测版本不 一致 •服务版本和代码库、需 求未关联 •发布过程中无法全景观 测服务质量 •团队间沟通不畅 •测试环境服务被覆盖 GOPS 全球运维大会暨研运数智化技术峰会2025 · 深圳站 腾讯音乐现状和挑战 架构复杂 微服务架构的应用， 服务数量激增，增 大系统复杂性，运 维管理难度加大。 运维难度大 各服务间依赖关系 复杂，故障排查和 修复难度高；测试 现网互通，影响服 务稳定性。 发布频率高 发布阶段夹带、漏 测等问题频发；发 布过程中服务质量 监控缺失、告警不 及时，影响服务质 量。 协作效率低 测试环境资源不足、 变更冲突，自动化 程度低、人肉操作 多，部门间协作信 息流通不畅。 DevOps引入与 面临的挑战 GOPS 全球运维大