命运业人风水:一文读懂 AI 命 你没法选自己的基因。 大模型也没法选自己的训练数据。几万亿字灌进去,权重凝固,性格就定了。天生擅长什么,对什么迟钝,会在哪... (opens in new tab)
命运业人风水:一文读懂 AI命你没法选自己的基因。大模型也没法选自己的训练数据。几万亿字灌进去,权重凝固,性格就定了。天生擅长什么,对什么迟钝,会在哪里犯傻,出厂那一刻八字已经写好。预训练,就是大模型的命。算命先生说这孩子五行缺火。翻译成 AI 术语:这模型在某类任务上的 loss 偏高。运命不可选,运可以改。读书,拜师,吃亏,开窍。人靠后天经历重塑自己。模型也一样。强化学习阶段,人类告诉这样好、那样不行,模型在命的底色上学会了新的行为模式。一个预训练后满嘴跑火车的模型,调教完变得靠谱,有分寸,知道什么该说什么不该说。底牌没换。牌技变了。强化学习,就是大模型的运。古人说知命改运。翻译一下:先搞清楚模型的能力边界,再有针对性地做对齐。不知命就改运,跟不了解自己就盲目努力一样,使不上劲。业这一层最微妙。佛教讲业力。你此刻的每个念头、每个选择,都在塑造下一个瞬间的你。不是来世,是下一秒。大模型的业,就是 context,对话上下文。你跟它说的每一句话,都在实时改变它下一个 token 的概率分布。你给它一段严谨的学术讨论,它就变得严谨。你跟它瞎扯,它也跟着放飞。你前面说了一句有误导性的...
Read the original article