(相關(guān)資料圖)

繼今年7月在2023世界人工智能(161631)大會(huì)發(fā)起成立“中國(guó)大模型語(yǔ)料數(shù)據(jù)聯(lián)盟”，上海人工智能(161631)實(shí)驗(yàn)室于8月14日宣布，聯(lián)合語(yǔ)料數(shù)據(jù)聯(lián)盟成員單位，共同開(kāi)源發(fā)布“書(shū)生·萬(wàn)卷”1.0多模態(tài)預(yù)訓(xùn)練語(yǔ)料?！皶?shū)生·萬(wàn)卷”1.0目前包含文本數(shù)據(jù)集、圖文數(shù)據(jù)集、視頻數(shù)據(jù)集三部分，本次開(kāi)源的數(shù)據(jù)總量超過(guò)2TB。該語(yǔ)料數(shù)據(jù)包含超過(guò)5億個(gè)文本，2200萬(wàn)個(gè)圖文交錯(cuò)文檔，1000個(gè)節(jié)目影像視頻，具備多元融合、精細(xì)處理、價(jià)值對(duì)齊、易用高效等四大特征。(上證報(bào))

關(guān)鍵詞