llm_engine import atexit from dataclasses import f…
prepare_prefill和prepare_block_tables prepare_prefi…
ModelRunner 定义了一个名为 ModelRunner 的核心类，用于在 nanovllm …
utils/context.py 这段代码定义了一个全局上下文管理器（Global Context …
Scheduler Scheduler是一个推理调度器，，其核心功能是协调序列在等待队列（waiti…
block_manager.py class Block: def __init__(self, b…
linear.py LinearBase class LinearBase(nn.Module): …
loader.py import os from glob import glob i…
engine/sequence.py 单个请求进来以后被封存成Sequence对象，这…
sampling_params.py from dataclasses import …