CHEGVA

大模型 Temperature 与 Top_p/Top_k 参数详解 (opens in new tab)

这两个参数都用于控制大模型输出的随机性和多样性,是调整模型行为最重要的超参数,但机制不同。简单理解:Temperature(温度):控制概率分布的“陡峭”程度,影响整体随机性。Top-p(也称核采样):限制候选词的累积概率范围,动态过滤掉极不可能的选项🔥 Temperature(温度)作用:控制输出分布的"尖锐度"模型在生成每个 token 时,会先计算所有候选词的概率分布。Temperature 会对这个分布做如下变换:P'(word) ∝ P(word)^(1/T)Temperature 值 / 效果 / 适用场景T = 0(或极低) — 始终选概率最高的词,输出完全确定 · 代码生成、数学计算、需要确定性答案的任务T = 0.1~0.3 — 高度保守,几乎总是选最优解 · 事实问答、信息抽取、严格格式输出T = 0.5~0.7 — 平衡随机性,主流默认值 · 通用对话、写作辅助、大多数场景T = 0.8~1.0 — 明显增加多样性 · 创意写作、头脑风暴、角色扮演T > 1.0 — 高度随机,可能产生无意义内容 · 艺术创作、探索性实验(不推荐日常使用)本质: 低温度让分布...

Read the original article
Sign in to keep reading the full article.

Keyboard Shortcuts

Navigation

Next / previous post
j/k
Open post
oorEnter
Preview post
v

Post Actions

Love post
a
Like post
l
Dislike post
d
Undo reaction
u
Save / unsave
s

Recommendations

Add interest / feed
Enter
Not interested
x

Go to

Home
gh
Interests
gi
Feeds
gf
Likes
gl
History
gy
Changelog
gc
Settings
gs
Discover
gb
Search
/

General

Show this help
?
Submit feedback
!
Close modal / unfocus
Esc

Press ? anytime to show this help