AI Infra：xLLM，京东开源的国产算力LLM推理引擎
京东开源的国产AI加速器专属LLM推理引擎，专为昇腾/海光/飞腾等国产算力优化，服务与引擎解耦架构，支持Qwen/DeepSeek/MoE等主流模型，企业级高吞吐低延迟部署。一、核心机制全图流水线：调度→计算→通信并行，消除气泡动态图优化：变长输入自适应 + 多图缓存 + 智能内存池全局KV缓存：跨请求重用 + 分布式预取路由算法加速：投机解码 + MoE负载均衡 + 多核并行全局多级KV Cache管理有点意思二、架构xllm/
├── core/ # 调度/运行时/算子/分布式引擎
├── api_service/ # gRPC/REST服务
├── server/ ...