Python 一個超快的公共情報搜集爬蟲

Photon是一個由s0md3v開源的情報搜集爬蟲，其主要功能有：

1.爬取鏈接(內(nèi)鏈、外鏈)。
2.爬取帶參數(shù)的鏈接，如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密鑰(在前端代碼中不小心被釋放出來的)。
5.js文件和Endpoint(spring中比較重要的監(jiān)視器)
6.匹配自定義正則表達式的字符串。
7.子域名和DNS相關數(shù)據(jù)。

你可以用它來干很多事，比如爬圖片、找漏洞、找子域名、爬數(shù)據(jù)等等。而且提取出來的數(shù)據(jù)格式非常整潔：

不僅如此，它甚至支持json格式 ，僅需要在輸入命令的時候加上json參數(shù)：

python photon.py -u "http://example.com" --export=json

為什么能用來做情報搜集呢？耐心往后看哦。

1.下載安裝

你可以上photon的github下載完整項目：
https://github.com/s0md3v/Photon

或者關注下方Python實用寶典公眾號在后臺回復photon獲得國內(nèi)網(wǎng)盤下載地址。下載后解壓到你想要使用的地方。如果你還沒有安裝Python，建議閱讀這篇文章：超詳細Python安裝指南，進行Python的安裝。

安裝完Python后，打開CMD(windows)/Terminal(macOS)，下面簡稱為終端，進入你剛解壓的文件夾，然后輸入以下命令安裝Photon的依賴：

pip install -r requirements.txt

如圖所示：

2.簡單使用

注意，使用的時候要在Photon文件夾下。比如我們隨便提取一個網(wǎng)站的URL試一下，在終端輸入以下命令：

python photon.py -u https://bk.tencent.com/

結果如下：

它會在當前目錄下產(chǎn)生一個你測試的域名的文件夾，比如在我這里是 bk.tencent.com：

嘻嘻，讓我們看看里面有什么東西，有沒有程序員留下的小彩蛋，打開external.txt，這是該網(wǎng)站的外鏈的存放位置。可以看到，這里不僅僅是只有網(wǎng)站頁面，連CDN文件地址都會放在這里，所以external可能是個藏寶庫哦。

還能一下找出該網(wǎng)站上鏈接的全部開源項目：

3.擴展

這個項目的價值，不僅在于能夠快速拉取你想要得到的數(shù)據(jù)，還在于能夠構建一個牛逼轟轟的 情報系統(tǒng) （如果你技術夠強的話）。因為它是能不斷延伸下去的，比如從外鏈出發(fā)，你能找到很多和這個網(wǎng)站相關的訊息：

相比于搜索引擎搜索的結果，實際上這些信息更符合情報的要求。而且 不是所有的信息都能在搜索引擎搜索得到 ，而通過這個Photon，你可以順藤摸瓜找到那些隱藏在互聯(lián)網(wǎng)世界的它們。

試想一下，如果你搜集了很多這樣的網(wǎng)站...然后用正則表達式搭建一個屬于你自己的搜索引擎，這樣的感覺是不是很棒？