叶正盛-AI 时代数据管理的核心挑战与跃迁之路

叶正盛 2025-04 AI时代数据管理的 核心挑战与跃迁之路 •资深数据库与云计算领域专家 •曾担任阿里云数据库产品管理与解决方案部总经理，阿里云技术 架构与产品决策委员会核心成员 •阿里巴巴去 IOE、异地多活、云计算多次技术变革核心成员 •构建阿里巴巴 &蚂蚁集团数据库 DevOps体系 •创立云计算数据传输 DTS、数据管理 DMS、数据库备份 DBS、数 据库自动驾驶服务 DAS等多款云计算数据库产品 NineData 创始人 & CEO 叶正盛 目录/CONTENTS 1AI 数据管理挑战 2向量数据库 3NineData 产品创新 4客户实践 AI 数据管理挑战 AI原生应用 数据存储与处理 模型 算力 阿里 云 华为 云 腾讯 云 百度 云 AWSAzure GCP Oracle AI大模型体系分层图 AutoDL 模型、数据、应用集成方案 RAG MCP & A2A Agent Database API File System HardwareSaaSBrowser MCP Server … Claude Desktop Cursor Cline … MCP Client MCP 架构 RAG的演进 query embedding Doc(text) embedding VectorDBsearch Prompt Augment Output LLM query embedding Doc(pdf,word,xls,html,…) embedding VectorDB search Prompt Augment Output LLM split Reranking Full search graph buildingindexing rewrite Distinct Fusion RAG 1.0 doc image audio video clean link RAG 2.0 Future Webpage AI向量数据库 常见数据模型 k c1 c2cN 1 2 3 … n 多维向量数据示意图 2维 3维 主流向量数据库产品 •Milvus/ZillizCloud •Chroma •FAISS •Qrant •Weaviate •Pinecone •Vespa •LanceDB •PostgreSQL+pgVector •RediSearch •ElasticSearch •OceanBase •MySQL •Cassandra 向量数据库测试（ QPS） 882.54 243.30 178.54 210.68 503.76 550.16 437.00 QPS（并发=20） （数值越大越好） 3155.08 310.55 573.23 712.23 2056.08 2239.38 466.79 Milvus Chroma Qdrant Weaviate PgVector pgVecto.rsRedis Stack qps 向量数据库查询测试（ 100万，768维） 产品 load time latency recall Milvus 2.5.6 976.42 1537 0.0043 0.9809 Chroma 0.6.4 985.71 349 0.0064 0.9562 Qdrant1.13.4 1526.20 352 0.0083 0.9947 Weaviate1.28.11 1186.15 1065 0.0105 0.9563 Pg17-pgVector-0.8.0 404.52 1810 0.013 0.9704 Pg17-pgVecto.rs-0.4.0 1638.59 2306 0.0045 0.958 redis-stack7.4.2 1660.59 504 0.0036 0.9562 NineData技术创新 丰富的数据源、平台支持 : RDBMS、NoSQL、数据仓库、大