弱智吧成為大模型重要語料來源（關于大模型語料的簡介）

2024-04-05 11:57:04 編輯：容波宜來源：

導讀近日一篇人工智能領域的論文將百度貼吧的弱智吧推上風口浪尖，缺乏訓練數據的AI大模型將目光投向了弱智吧，根據論文內容，使用弱智吧帖子標...

近日一篇人工智能領域的論文將百度貼吧的“弱智吧”推上風口浪尖，缺乏訓練數據的AI大模型將目光投向了弱智吧，根據論文內容，使用弱智吧帖子標題加上GPT-4回答微調之后的Yi-34B模型評估結果超過精心收集的SFT指令集數據，在安全性評估方面也位于第二名。

1.最近大型語言模型取得了突出的進展，但是在中文指令調優(yōu)方面仍然存在著一定的短板，現有的數據集基本上都是以英語為中心，或者與現實世界的中國用戶交互模式存在差別。

2.為了改善LLM在中文語境下的能力，10家機構聯合發(fā)布的研究提出了COIG-CQIA，這是一個中文指令調優(yōu)數據集，數據來源包括問答社區(qū)、維基百科以及現有的NLP數據集。

3.這一研究成果提出了一個高質量的中文指令調優(yōu)數據集，專門用于和人類交互保持一致，并且通過嚴格的過濾程序實現。

4.現在中文大模型的開發(fā)難點在于缺乏高質量的中文數據集，研究團隊認為各種中文社交媒體以及論壇是大模型訓練的最佳語料來源，為此開發(fā)者從許多社交平臺中收集人工編寫的文本集合，最終構建出了數據集。

5.在對來自不同平臺的數據集進行評估時，開發(fā)者發(fā)現在多個比分當中，弱智吧提供的數據訓練在分類表現中最好，對此進行微調之后的Yi-34B評測中，弱智吧的數據訓練表現幾乎在全領域中都拿到第一的成績。

6.對于弱智吧數據集這樣的結果，開發(fā)者也感到意外，人們認為是弱智吧的數據特性有助于增強模型的邏輯推理能力，使其在大多數遵循指令的任務中表現更加出色。弱智吧有許多語料看起來更像是腦筋急轉彎，這能大大彌補大模型的邏輯能力。

標簽：弱智吧大模型

免責聲明：本文由用戶上傳，如有侵權請聯系刪除！

本站除標明“本站原創(chuàng)”外所有信息均轉載自互聯網版權歸原作者所有。

郵箱：toplearningteam#gmail.com (請將#換成@)