Newspaper：用于提取和整理文章的python庫

Newspaper 是一個很棒的python庫，用于提取和整理文章。

它有以下的優(yōu)點：

• 多線程文章下載框架
• 識別新聞網(wǎng)址
• 從html提取文本
• 從html提取頂部圖像
• 從html提取所有圖像
• 從文本中提取關鍵字
• 自動提取摘要
• 自動提取作者
• 自動提取 Google 趨勢詞

下面是這個開源模塊的安裝和使用教程。

1.準備

開始之前，你要確保Python和pip已經成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細Python安裝指南 進行安裝。

如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內置了Python和pip.

此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點：Python 編程的最好搭檔—VSCode 詳細指南。

請選擇以下任一種方式輸入命令安裝依賴 ：

1. Windows 環(huán)境 打開 Cmd (開始-運行-CMD)。
2. MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip3 install newspaper3k

遇到任何安裝問題，可以在本文下方留言框或Python實用寶典公眾號上留言，也可以訪問項目官網(wǎng)查看相關安裝指南：
https://github.com/codelucas/newspaper

2.基本使用

Newspaper 中是以文章為對象實現(xiàn)各種操作的，比如下載指定新聞的HTML：

from newspaper import Article

url = 'http://fox13now.com/2013/12/30/new-year-new-laws-obamacare-pot-guns-and-drones/'

# 根據(jù)url生成Article對象
article = Article(url)

# 下載文章
article.download()

# 文章的HTML
article.html
#'< !DOCTYPE HTML >< html itemscope itemtype="http://...'

通過解析新聞和文章，你能獲得此文章的作者、發(fā)布時間、摘要、頂部圖像、所有圖像、多媒體等：

"""
Python 實用寶典
《Newspaper — 一個能下載38種語言新聞文章的 Python 模塊》
"""

# 解析文章
article.parse()

# 獲取文章作者
article.authors
# ['Leigh Ann Caldwell', 'John Honway']

# 獲取文章發(fā)布日期
article.publish_date
# datetime.datetime(2013, 12, 30, 0, 0)

# 獲取文章文本
article.text
# 'Washington (CNN) -- Not everyone subscribes to a New Year's resolution...'

# 獲取頂部圖像
article.top_image
# 'http://someCDN.com/blah/blah/blah/file.png'

# 獲取文章多媒體資源
article.movies
# ['http://youtube.com/path/to/link.com', ...]

除此之外，該模塊還附帶了 NLP 功能，你能用它來識別文章關鍵字并自動提取摘要：

# 使用 NLP 解析
article.nlp()

# 獲取文章關鍵詞
article.keywords
# ['New Years', 'resolution', ...]

# 獲取文章摘要
article.summary
# 'The study shows that 93% of people ...'

你看，這個工具不無敵嗎？它還能提取某個網(wǎng)站的所有新聞文章，比如我想提取CNN的新聞文章：

import newspaper

cnn_paper = newspaper.build('http://cnn.com')

for article in cnn_paper.articles:
    print(article.url)
# http://www.cnn.com/2013/11/27/justice/tucson-arizona-captive-girls/
# http://www.cnn.com/2013/12/11/us/texas-teen-dwi-wreck/index.html

在此之上，你還能拿到CNN的其他新聞門戶分類：

for category in cnn_paper.category_urls():
    print(category)

# http://lifestyle.cnn.com
# http://cnn.com/world
# http://tech.cnn.com
# ...

許多中文媒體的文章下載也是支持的：

import newspaper
sina_paper = newspaper.build('http://www.sina.com.cn/', language='zh')

for category in sina_paper.category_urls():
    print(category)
# http://health.sina.com.cn
# http://eladies.sina.com.cn
# http://english.sina.com
# ...

article = sina_paper.articles[0]
article.download()
article.parse()

print(article.text)
# 新浪武漢汽車綜合 隨著汽車市場的日趨成熟，
# 傳統(tǒng)的"集全家之力抱得愛車歸"的全額購車模式已然過時，
# 另一種輕松的新興 車模式――金融購車正逐步成為時下消費者購
# 買愛車最為時尚的消費理念，他們認為，這種新穎的購車
# 模式既能在短期內
# ...

print(article.title)
# 兩年雙免0手續(xù)0利率 科魯茲掀背金融輕松購_武漢車市_武漢汽
# 車網(wǎng)_新浪汽車_新浪網(wǎng)

從上面的例子你可以看到，你可以非常容易地提取中文文章，僅需要在Article的language參數(shù)中指定 'zh' ：

"""
Python 實用寶典
《Newspaper — 一個能下載38種語言新聞文章的 Python 模塊》
"""

from newspaper import Article
url = 'http://www.bbc.co.uk/zhongwen/simp/chinese_news/2012/12/121210_hongkong_politics.shtml'
a = Article(url, language='zh') # Chinese
a.download()
a.parse()
print(a.text[:150])

# 香港行政長官梁振英在各方壓力下就其大宅的違章建
# 筑（僭建）問題到立法會接受質詢，并向香港民眾道歉。
# 梁振英在星期二（12月10日）的答問大會開始之際
# 在其演說中道歉，但強調他在違章建筑問題上沒有隱瞞的
# 意圖和動機。一些親北京陣營議員歡迎梁振英道歉，
# 且認為應能獲得香港民眾接受，但這些議員也質問梁振英有

print(a.title)
# 港特首梁振英就住宅違建事件道歉

這個工具所支持的所有語言如下：

上滑查看更多語言

code            full namear              Arabicbe              Belarusianbg              Bulgarianda              Danishde              Germanel              Greeken              Englishes              Spanishet              Estonianfa              Persianfi              Finnishfr              Frenchhe              Hebrewhi              Hindihr              Croatianhu              Hungarianid              Indonesianit              Italianja              Japaneseko              Koreanlt              Lithuanianmk              Macedoniannb              Norwegian (Bokm?l)nl              Dutchno              Norwegianpl              Polishpt              Portuguesero              Romanianru              Russiansl              Sloveniansr              Serbiansv              Swedishsw              Swahilith              Thaitr              Turkishuk              Ukrainianvi              Vietnamesezh              Chinese

你可以按需選擇自己所需要的語言。

3.高級玩法

前面我們說過，Newspaper 是一個可以并發(fā)下載文章的框架，它是這么玩的：

"""
Python 實用寶典
《Newspaper — 一個能下載38種語言新聞文章的 Python 模塊》
"""

import newspaper
from newspaper import news_pool

slate_paper = newspaper.build('http://slate.com')
tc_paper = newspaper.build('http://techcrunch.com')
espn_paper = newspaper.build('http://espn.com')

papers = [slate_paper, tc_paper, espn_paper]
news_pool.set(papers, threads_per_source=2) # (3*2) = 總計 6 線程
news_pool.join()

# 到這一步，你可以假定三個新聞源的文章都下載完成了
print(slate_paper.articles[10].html)
# u'< html > ...'

可以看到，作者通過 build 三個新聞源，拿到一個總的新聞源池進行并發(fā)請求。

其中，.set 函數(shù)起到了調度作用，它能通過指定 threads_per_source 的值設定每個新聞源的線程。最后再 join 起來開始并發(fā)請求新聞源并開始下載新聞。

此外，Newspaper 還有一些參數(shù)可供你配置，比如：

上滑查看更多參數(shù)

keep_article_html，默認為False，“如果要保留正文文本的html，則設置為True”http_success_only，默認為True，“設置為False也可以捕獲非2XX響應”MIN_WORD_COUNT，默認為300，“文章中的單詞數(shù)量”MIN_SENT_COUNT，默認為7，“句子數(shù)”MAX_TITLE，默認值為200，“文章標題中的字符數(shù)”MAX_TEXT，默認值為100000，“文章文字中的字符數(shù)”MAX_KEYWORDS，默認值為35，“文章中的關鍵詞數(shù)”MAX_AUTHORS，默認值為10，“文章中的作者姓名數(shù)量”MAX_SUMMARY，默認值為5000，“摘要的字符數(shù)”MAX_SUMMARY_SENT，默認為5，“摘要中的句子數(shù)”memoize_articles，默認為True，“運行后緩存并保存運行后的文章”fetch_images，默認為True，“如果不需要獲取圖片，請將其設置為false”request_timeout，默認為7，請求7秒后未響應完成則超時number_threads，默認值為10，多線程數(shù)量

如果你需要使用以上參數(shù)，可以設一個Config對象，傳入指定的 Article 對象或build 方法中，如：

import newspaper
from newspaper import Config, Article, Source

config = Config()
config.memoize_articles = False

cbs_paper = newspaper.build('http://cbs.com', config)

非常簡單易懂，而且設置起來的維護成本不算很高。

在做一些輿情分析或者NLP算法訓練/測試的時候，這個模塊簡直就是你的福音。你可以很方便地從網(wǎng)站上提取任意語言的文本數(shù)據(jù)，拿來測試或者訓練都可以。

對于那些想要搞輿情分析，尋找市場熱點的同學而言，這個模塊也是非常方便，你能搭配郵件發(fā)布工具，并使用Newspaper的關鍵詞提取功能，迅速制作一個關鍵詞熱點實時告警的工具。

總而言之，這是一個非常值得了解并學習使用的第三方模塊，強烈推薦。