Tag: 大模型推理
All the articles with the tag "大模型推理".
-
MLSys26 - Charon: a unified and fine-grained simulator for large-scale LLM training and inference
解析面向大规模大语言模型训练与推理的细粒度仿真框架 Charon，系统梳理其算子图级建模、拓扑感知通信与计算重叠减速处理等核心设计，并结合多种 GPU 架构及万卡集群验证其在性能预测与推理配置寻优上的精确度与实际收益。
-
OSDI 2022 - Orca: A Distributed Serving System for Transformer-Based Generative Models
OSDI 2022 Orca 论文阅读笔记，梳理迭代级调度、选择性批处理与生成式模型分布式推理服务的系统设计。
-
ICCV 2025 - AdaLLaVA: Learning to Inference Adaptively for Multimodal Large Language Models
由威斯康星大学麦迪逊分校（University of Wisconsin-Madison）、普渡大学（Purdue University）、香港大学（The …
-
OSDI 2024 - ServerlessLLM: Low-Latency Serverless Inference for Large Language Models
OSDI 2024 论文阅读笔记：ServerlessLLM — 面向大语言模型的低延迟 Serverless 推理系统。