日本一区二区三区久久-日本一区二区三区久久精品-日本一区二区三区日本免费-日本一区二区三区在线观看视频-国产不卡免费视频-国产不卡视频

關于ZAKER 合作
量子位 前天

草稿鏈代替思維鏈,推理 token 砍掉 80%,顯著降低算力成本和延遲

推理 token 減少 80%-90%,準確率變化不大,某些任務還能增加。

Zoom 團隊提出思維鏈替代品 " 草稿鏈 ",顯著降低延遲和算力成本。

原理很簡單,要求模型為每個推理步驟生成簡潔、信息密集的 token。

這一思路受到人類解題過程啟發,人類通常不會詳細闡述每一個細節,只是簡單幾下關鍵的中間結果,作為草稿來輔助思考。

此外,草稿鏈方法簡單且易于實現,不需要修改模型、微調或強化學習,只需更新提示詞中的示例即可,相關代碼和數據已在 GitHub 上開源。

研究團隊認為,與另一種降低延遲和計算成本的方法 " 在連續潛空間推理 " 相比,草稿鏈保留了可解釋性,且可以應用于閉源的黑盒模型。

第三方分析測算,對于每個月處理 100 萬個推理請求的企業, 可以將成本從思維鏈的 3800 美元降低到 760 美元,每月節省超過 3000 美元。

實驗遵循原始思維鏈論文,評估 3 類任務:算術推理、常識推理和符號推理。

算數推理任務選擇 GSM8k 數據集,從準確率看,標準提示下 GPT-4o 和 Claude 3.5 Sonnet 的準確率分別僅 53.3% 和 64.6%,思維鏈使兩者均超 95%,草稿鏈也達到 91% 左右。

在 token 使用上,思維鏈生成約 200 個 token/ 響應,草稿鏈僅約 40 個,減少約 80%。

延遲方面,草稿鏈使 GPT-4o 和 Claude 3.5 Sonnet 的平均延遲分別降低 76.2% 和 48.4%。

常識推理選擇 BIG-bench 的日期理解和運動理解任務也取得了相似的結果,特別值得注意的是 Claude 3.5 Sonnet 在草稿鏈下準確率還有所上升。

符號推理選擇拋硬幣任務,由于原數據集未公開,作者合成了 250 個示例的測試集。

草稿鏈在保持 100% 準確率的情況下大幅減少了推理 token 和延遲。

但草稿鏈方法也有一定的局限性:在零樣本設置下有效性會顯著下降。

此外,在參數量小于 30 億的小模型上,雖然草稿鏈仍能有效減少每個回答所需的 token 數并提高準確率,但與思維鏈相比,性能差距更大。

研究團隊推測,可能是由于訓練數據中缺乏草稿鏈風格的推理模式,在不提供 few-shot 樣本指導的情況下,很難生成簡潔而有幫助的 " 草稿 "。

論文地址:

https://arxiv.org/abs/2502.18600v2

參考鏈接:

[ 1 ] https://ajithp.com/2025/03/02/chain-of-draft-llm-prompting/

相關標簽
abs
主站蜘蛛池模板: 久久精品一区二区影院 | 日本乱人伦片中文三区 | 久cao在线观看视频 久爱免费观看在线网站 | 999热精品这里在线观看 | 网站免费满18成年在线观看 | 精品欧美一区二区三区免费观看 | 一级毛片在线免费观看 | 欧美成人看片黄a免费 | 国产在线精品成人一区二区三区 | 日韩成人毛片高清视频免费看 | 国产精品美女一区二区三区 | 欧美一级黄 | 国产午夜精品理论片影院 | 免费一级肉体全黄毛片 | 久久九九国产精品怡红院 | 国产成人精品在线 | 亚洲日本视频在线观看 | 国产99视频精品草莓免视看 | 欧美成人精品一级高清片 | 日韩欧美在线一区二区三区 | 曰本美女高清在线观看免费 | 国产精品成人网 | 亚洲欧美综合一区二区三区四区 | 日本精品视频一区二区三区 | 鲁大师成人精品视频 | 国产激情久久久久影 | 国产精品激情丝袜美女 | 正在播真实出轨炮对白 | aaaaaa精品视频在线观看 | 欧美91精品久久久久网免费 | 男人操美女 | 久久99视频精品 | 中文国产成人精品久久无广告 | 九九热视频在线免费观看 | 亚州一区二区 | 97公开免费视频 | 国产精品欧美日韩一区二区 | 日韩专区亚洲国产精品 | 热久久91| 国产在线小视频 | 欧美日本一道道一区二区三 |