通過分析ajax中信息爬取圖片

通過本案例解析ajax請求返回的信息下載圖片

爬取url地址：https://pic.sogou.com/pics?query=動物

分析：

分析url地址：每頁25條數(shù)據，共計10頁

第1頁：https://pic.sogou.com/napi/pc/searchList?mode=1&start=0&xml_len=48&query=動物
第2頁：https://pic.sogou.com/napi/pc/searchList?mode=1&start=48&xml_len=48&query=動物
第3頁：https://pic.sogou.com/napi/pc/searchList?mode=1&start=96&xml_len=48&query=動物

通過分析得出請求改變start參數(shù)就可以改變頁數(shù)

具體實現(xiàn)代碼：

import requests
import os

class ImageSougou(object):
   url = 'https://pic.sogou.com/napi/pc/searchList'
   save_dir = './sougou' # 文件保存的路徑
   count = 0
   # 初始化
   def __init__(self, word):
       self.word = word
       self.dir_path = os.path.join(self.save_dir, word)
       self.params = {
           'query': word,
           'mode': '1',
           'start': '0',
           'xml_len': 48,
       }
       self.headers = {
           'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36',
       }
       # 創(chuàng)建保存圖片的文件夾
       self.folder_exist(self.dir_path)
       self.last_img_url = ''
       self.current_page = 0
   
   # 請求包含圖片url的網頁
   def parse(self):
       while True:
           self.params['start'] = str(self.current_page*48)
           response = requests.get(url=self.url, headers=self.headers, params=self.params)
           response.encoding='utf8'
           data = response.json()['data']['items']
           if data:
               for img_info in data:
                   img_url = img_info['picUrl']
                   self.download(img_url)
               self.current_page += 1
           else:
               break
   # 下載一張圖片
   def download(self, img_url, img_type='jpg'):
       self.count += 1
       print('正在下載第%d張圖片...'%self.count, img_url)
       try:
           response = requests.get(img_url)
       except Exception as e:
           print('下載失敗:', img_url)
           return None
       img_name = img_url.split('/')[-1]
       img_path = os.path.join(self.dir_path, img_name)
       try:
           with open(img_path, 'wb') as f:
               f.write(response.content)
       except Exception as e:
           print('下載失敗:', img_url)
   def folder_exist(self, dir_path):
       '''
       1. 作用:判斷文件夾路徑是否存在,不存在則創(chuàng)建
       2. 參數(shù):dir_path:文件夾路徑
       3. 返回值:None
       '''
       if not os.path.exists(dir_path):
           os.makedirs(dir_path)
if __name__ == '__main__':
   image = ImageSougou('動物')
   image.parse()

審核編輯：符乾江