大模型 Temperature 与 Top_p/Top_k 参数详解 (opens in new tab)
这两个参数都用于控制大模型输出的随机性和多样性,是调整模型行为最重要的超参数,但机制不同。简单理解:Temperature(温度):控制概率分布的“陡峭”程度,影响整体随机性。Top-p(也称核采样):限制候选词的累积概率范围,动态过滤掉极不可能的选项🔥 Temperature(温度)作用:控制输出分布的"尖锐度"模型在生成每个 token 时,会先计算所有候选词的概率分布。Temperature 会对这个分布做如下变换:P'(word) ∝ P(word)^(1/T)Temperature 值 / 效果 / 适用场景T = 0(或极低) — 始终选概率最高的词,输出完全确定 · 代码生成、数学计算、需要确定性答案的任务T = 0.1~0.3 — 高度保守,几乎总是选最优解 · 事实问答、信息抽取、严格格式输出T = 0.5~0.7 — 平衡随机性,主流默认值 · 通用对话、写作辅助、大多数场景T = 0.8~1.0 — 明显增加多样性 · 创意写作、头脑风暴、角色扮演T > 1.0 — 高度随机,可能产生无意义内容 · 艺术创作、探索性实验(不推荐日常使用)本质: 低温度让分布...
Read the original article