Tag: LLM
All the articles with the tag "LLM".
-
MLSys26 - Charon: a unified and fine-grained simulator for large-scale LLM training and inference
解析面向大规模大语言模型训练与推理的细粒度仿真框架 Charon，系统梳理其算子图级建模、拓扑感知通信与计算重叠减速处理等核心设计，并结合多种 GPU 架构及万卡集群验证其在性能预测与推理配置寻优上的精确度与实际收益。
-
Openai Daybreak使用经历
记录实际使用 OpenAI Daybreak 模型的体验：能力、思考风格与安全围栏的观察，以及国内访问会被封禁且无法解除的风险提示。
-
OSDI 2022 - Orca: A Distributed Serving System for Transformer-Based Generative Models
OSDI 2022 Orca 论文阅读笔记，梳理迭代级调度、选择性批处理与生成式模型分布式推理服务的系统设计。
-
ICCV 2025 - AdaLLaVA: Learning to Inference Adaptively for Multimodal Large Language Models
由威斯康星大学麦迪逊分校（University of Wisconsin-Madison）、普渡大学（Purdue University）、香港大学（The …
-
API Agent: Embedding, MCP, Skills
Updated:基于 Gemini API Cookbook 的 Agent 实操笔记，梳理 Embedding、Function Calling、MCP、Skills 与编排层关系。
-
Ascend C 算子开发 Part5 PyTorch 算子调用与阶段总结
Ascend C 算子开发第五部分，介绍 PTA 适配框架（torch-npu）与 PyTorch 算子集成方式，并对全系列进行阶段性总结。
-
Ascend C 算子开发 Part1 基本概念
华为 Ascend C 算子开发系列第一部分，介绍 CANN 架构、Ascend C 编程模型及基本概念。
-
arXiv 2024 - Characterization of Large Language Model Development in the Datacenter
arXiv 2024 论文阅读笔记，概括数据中心内大语言模型开发负载、故障、资源利用与调度优化机会。