sampling_params.py

from dataclasses import dataclass

@dataclass
class SamplingParams:
    temperature: float = 1.0
    max_tokens: int = 64
    ignore_eos: bool = False

    def __post_init__(self):
        assert self.temperature > 1e-10, "greedy sampling is not premitted"

SampllingParams类

  • temperature

    • 定义：温度系数，控制生存随机性的核心参数

    • 作用：在 softmax 归一化之前，将模型输出的 Logits 除以 T

      • T \to 0：模型变得非常确定（“保守”），倾向于只选概率最高的词。
      • T \to 1.0：模型保持原始的概率分布。
      • T > 1.0：概率分布变得“平滑”，模型会变得更“大胆”，增加输出的多样性，但也容易胡言乱语。

  • max_tokens

    • 定义：单次推理最多生成的 token 数量
    • 作用：这是一个“硬计数”限制。一旦生成的 token 数量达到 64，无论句子是否写完，推理引擎都会强制停止。这有助于防止模型陷入无限循环或产生过长的响应。

  • ignore_eos

    • 定义：是否忽略结束符

    • 作用：

      • 如果是Flase，模型一旦预测出结束EOS标记，输出就停止了
      • 如果是True，即使模型输出了EOS标记，也无法停止，会一直生成到max_tokens为止，通常用于压力测试或者强制生产特定长度的文本

assert self.temperature > 1e-10, "greedy sampling is not permitted"，设计的时候强制要求温度系数不能小于1e-10，即不支持纯贪婪搜索