AI 大模型在智能搜索系统的架构设计与优化要点

主流是分层召回 + 大模型重排架构：底层用 Milvus 向量库做语义召回，搭配关键词检索做混合召回，快速筛出相关文档；上层用大模型做意图理解、重排、答案抽取，生成精准结果。核心用到 RAG、文档分块、MMR 多样性召回。优化要点：给高频查询加缓存；做分布式部署扛并发；冷热数据分层，热数据放高速存储；用流式推理、批量嵌入降低延迟；定期重建索引，保证检索精准。这套架构能支撑千万级文档，响应快、准确率高，适合企业知识库搜索