Inverse Scaling Prize數(shù)據(jù)發(fā)布完整指南5分鐘上手11個(gè)獲獎(jiǎng)數(shù)據(jù)集快速復(fù)現(xiàn)大模型逆擴(kuò)展曲線【免費(fèi)下載鏈接】prizeA prize for finding tasks that cause large language models to show inverse scaling項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/prizeInverse Scaling Prize逆擴(kuò)展獎(jiǎng)官方數(shù)據(jù)發(fā)布包收錄了全部 11 個(gè)獲獎(jiǎng)數(shù)據(jù)集專門用于研究大模型越大、表現(xiàn)反而越差的逆擴(kuò)展Inverse Scaling現(xiàn)象。本文帶你 5 分鐘上手?jǐn)?shù)據(jù)格式、字段說明與圖表結(jié)構(gòu)快速復(fù)現(xiàn)大模型逆擴(kuò)展曲線適合剛接觸 LLM 評(píng)測的讀者。一、什么是逆擴(kuò)展30 秒理解越大越差 按擴(kuò)展定律Scaling Laws語言模型參數(shù)越多、訓(xùn)練算力越大基準(zhǔn)測試表現(xiàn)通常越好。但 Inverse Scaling Prize 發(fā)現(xiàn)了一類反例任務(wù)模型越強(qiáng)錯(cuò)誤反而越多。該賽事由 AI 安全研究機(jī)構(gòu)于 2022 年發(fā)起總獎(jiǎng)池 25 萬美元目標(biāo)是找到重要且可復(fù)現(xiàn)的逆擴(kuò)展任務(wù)。經(jīng)過兩輪評(píng)審官方在 2023 年 3 月一次性發(fā)布了全部 11 個(gè)獲獎(jiǎng)數(shù)據(jù)集。下面的圖是典型的逆擴(kuò)展曲線橫軸為模型算力FLOPs縱軸為負(fù)對數(shù)損失。可以看到 Gopher、OPT 等模型系列越大的版本在 Memo Trap 任務(wù)上損失越高表現(xiàn)越差二、5 分鐘上手獲取 11 個(gè)獲獎(jiǎng)數(shù)據(jù)集 1. 克隆倉庫獲取數(shù)據(jù)發(fā)布包所有數(shù)據(jù)位于data-release/isp-data-release.zip克隆倉庫即可拿到git clone https://gitcode.com/gh_mirrors/pr/prize2. 解壓并查看數(shù)據(jù)unzip />少樣本條件下許多任務(wù)的逆擴(kuò)展依然存在。下圖是 Gopher 系列在 Into the Unknown 數(shù)據(jù)集上的表現(xiàn)五、使用數(shù)據(jù)前必讀的注意事項(xiàng) ??Canary 字符串?dāng)?shù)據(jù)中嵌入了 BIG-Bench 風(fēng)格的 canary GUID聲明基準(zhǔn)數(shù)據(jù)不應(yīng)出現(xiàn)在訓(xùn)練語料中請勿將其用于模型預(yù)訓(xùn)練許可證全部數(shù)據(jù)采用 CC-BY 4.0 許可Modus Tollens 勘誤數(shù)據(jù)發(fā)布后發(fā)現(xiàn)有少于 10% 的樣例存在語法錯(cuò)誤官方仍保留這些樣例如需過濾受影響的樣例下標(biāo)已列在data-release/modus-tollens_affected_indices.txt數(shù)據(jù)清理resisting-correction有意略去 part 1memo-trap僅保留 part 1 與 3完整變更記錄見data-release/README.md六、常見問題 FAQ Q復(fù)現(xiàn)曲線需要花錢調(diào) API 嗎A不需要。官方曲線已完整收錄在plots/目錄若要自己在開源模型如 OPT上重跑使用 Hugging Face 上的開源權(quán)重即可零成本。Qpart和round字段有什么用Apart區(qū)分?jǐn)?shù)據(jù)集內(nèi)部的不同子集如sig-figs有 21 個(gè)部分round標(biāo)明數(shù)據(jù)提交自哪一輪兩輪之間更新過的任務(wù)resisting-correction、redefine只保留了第二輪版本。Q數(shù)據(jù)量有多大夠跑實(shí)驗(yàn)嗎A11 個(gè)數(shù)據(jù)集共約 22 MB單文件從幾百條如neqa到上萬條不等全部滿足賽事至少 300 條的最低門檻多數(shù)在千條量級(jí)足以觀察到清晰的縮放趨勢。總結(jié)Inverse Scaling Prize 數(shù)據(jù)發(fā)布包是目前研究大模型逆擴(kuò)展現(xiàn)象最權(quán)威的公開資源——11 個(gè)獲獎(jiǎng)數(shù)據(jù)集 三類官方評(píng)測曲線開箱即用。克隆倉庫、解壓data-release/isp-data-release.zip即可在 5 分鐘內(nèi)開始你的復(fù)現(xiàn)實(shí)驗(yàn)。【免費(fèi)下載鏈接】prizeA prize for finding tasks that cause large language models to show inverse scaling項(xiàng)目地址: https://gitcode.com/gh_mirrors/pr/prize創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考