NLP大模型必備-FudanNLP開(kāi)源中文圖書(shū)集合CBook-150K

為了助力大模型研究，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室開(kāi)源了中文圖書(shū)數(shù)據(jù)集合CBook-150K，包含15萬(wàn)本中文圖書(shū)的下載和抽取方法，涵蓋人文、教育、科技、軍事、政治等眾多領(lǐng)域。

當(dāng)前很多研究表明，高質(zhì)量數(shù)據(jù)對(duì)于訓(xùn)練大規(guī)模語(yǔ)言模型具有至關(guān)重要的作用。圖書(shū)中的內(nèi)容在質(zhì)量、專業(yè)水準(zhǔn)、可靠性等方面遠(yuǎn)高于互聯(lián)網(wǎng)數(shù)據(jù)。OpenAI在訓(xùn)練GPT 3時(shí)，也使用了大量圖書(shū)資源。但是目前還缺乏大規(guī)模的中文圖書(shū)開(kāi)放集合。此外，由于絕大多數(shù)電子書(shū)籍的保存方式為PDF格式，從其中抽取文本內(nèi)容也需要分析工具支持。復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室結(jié)合此前自主開(kāi)發(fā)的相關(guān)PDF分析工具，開(kāi)源了中文語(yǔ)料圖書(shū)集合CBook-150K。

復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室，自2019年起，自研了PDF處理工具DocAI，針對(duì)非掃描件PDF，具有能夠處理復(fù)雜格式、高效、高準(zhǔn)確率、可私有化部署等特點(diǎn)。DocAI在全CPU解決方案下，單核CPU處理100頁(yè)文檔僅需10秒。提取字符準(zhǔn)確率100%，結(jié)構(gòu)分析準(zhǔn)確率95%。DocAI智能文檔解析系統(tǒng)支持對(duì)DOC、PDF等常見(jiàn)電子文檔進(jìn)行智能解析，對(duì)文檔中的標(biāo)題、段落、表格等半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行結(jié)構(gòu)化分析還原。該應(yīng)用場(chǎng)景具有文件類型多，格式復(fù)雜，兼容性要求高等特點(diǎn)，特別是對(duì)于跨頁(yè)表格，多欄排版等復(fù)雜場(chǎng)景的支持。是目前支持段落、表格融合識(shí)別的為數(shù)不多的智能文檔解析工具之一。DodAI不依賴第三方資源，支持離線環(huán)境下的私有化部署和使用，確保文檔隱私與安全。

結(jié)合DocAI工具以及搜索引擎，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室從互聯(lián)網(wǎng)中篩選了大量中文圖書(shū)資源鏈接，并構(gòu)造了內(nèi)容抽取算法，助力廣大學(xué)者NLP大模型研究，同時(shí)也在實(shí)踐與操作中不斷迭代更新，完善大型語(yǔ)料庫(kù)的部署。

下載鏈接：

https://github.com/FudanNLPLAB/CBook-150K

審核編輯 ：李倩