為什麼 AI 越聊越笨?Context Window、Compact 與額度管理入門教學 (opens in new tab)
你有沒有常常覺得 AI 聊到後面開始忘東忘西,甚至額度一下就燒光?很多時候不是因為模型變笨,其實是 Context Window(上下文窗口)和對話管理沒有做好!這篇用白話解釋 Context Window、Compact、Token,以及我為 什麼建議把規劃和執行拆成兩個對話?
Read the original article你有沒有常常覺得 AI 聊到後面開始忘東忘西,甚至額度一下就燒光?很多時候不是因為模型變笨,其實是 Context Window(上下文窗口)和對話管理沒有做好!這篇用白話解釋 Context Window、Compact、Token,以及我為 什麼建議把規劃和執行拆成兩個對話?
Read the original article