• <abbr id="chdyf"></abbr>
    <ruby id="chdyf"><acronym id="chdyf"><meter id="chdyf"></meter></acronym></ruby>
    <bdo id="chdyf"></bdo>
    <dfn id="chdyf"><menu id="chdyf"></menu></dfn>
    1. <menuitem id="chdyf"></menuitem><strong id="chdyf"><menu id="chdyf"></menu></strong>

      <rt id="chdyf"><menu id="chdyf"></menu></rt>
      成人小说一区二区三区,伊人精品成人久久综合全集观看,久久HEZYO色综合,中文字幕精品人妻熟女,影音先锋成人网站,我要看免费一级毛片,中国女人做爰A片,中文字幕av久久爽Av

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      2018-6-8    seo達人

      如果您想訂閱本博客內容,每天自動發到您的郵箱中, 請點這里

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      還有4天就世界杯了,作為一個資深(偽)球迷,必須要實時關注世界杯相關新聞,了解各個球隊動態,這樣才能在一堆球迷中如(大)魚(吹)得(特)水(吹),迎接大家仰慕的目光!

      給大家分享一個快速了解相關信息的辦法:刷論壇!我們來一起做個虎撲論壇的爬蟲吧!

      抓包獲取虎撲論壇相關帖子內容,逐條顯示!

      先來觀察下網頁,打開論壇首頁,選擇國際足球

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      然后往下拉,找到世界杯相關內容

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      這里就是我們的目標了,所有相關的新聞都會在這里顯示,用F12打開“開發者工具”然后往下瀏覽看看數據包

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      注意箭頭指向的那幾個地方!

      這就是剛才瀏覽的新聞所在的json包,來看看具體數據是什么

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      ok,標題、地址、發布時間包括來源都已經出現了!我們可以直接抓取json數據然后取出相關內容!

      再進入具體新聞頁面看看

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      所有的文本內容,都在

      這個標簽下的

      標簽內,我們可以用xpath直接取div下的所有文本內容!

      這里就不一 一說明了,直接上代碼,并錄個小的GIF圖片給大家看看效果

      #@author Q群542110741 # -*- coding:utf-8 -*- import requests from lxml import etree
      
      header = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0', 'Host':'soccer.hupu.com', 'Referer':'https://soccer.hupu.com/'}
      i = 0 while 1: #構建循環頁面翻頁 url = 'https://soccer.hupu.com/home/latest-news?league=世界杯&page=' i += 1 #獲取json數據,一頁20個 html = requests.get(url+str(i),headers=header).json()['result'] for info in html:
              time_r = info['time']#發布時間 title = info['title']#標題 url_r = info['url']#新聞鏈接 origin = info['origin']#來源 print(title)
              print('發布時間:',time_r,' '*5,'來自:',origin)
              head = header
              head['Host'] = 'voice.hupu.com'#更改header中Host參數 html_r = requests.get(url_r,headers=head)#獲取新聞詳情 html_r.encoding = 'utf-8'#編碼格式指定 #獲取div下的所有文本 datas = etree.HTML(html_r.text).xpath('//div[@class="artical-content-read"]')[0].xpath('string(.)').strip()
              print('\n'+'內容:'+'\n'*2,datas,'\n') #可由用戶手動退出循環 if input('任意鍵繼續,“q”退出') in ['q', 'Q']:
                  exit()
          
      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 17
      • 18
      • 19
      • 20
      • 21
      • 22
      • 23
      • 24
      • 25
      • 26
      • 27
      • 28
      • 29
      • 30
      • 31
      • 32
      • 33

      世界杯快到了,看我用Python爬蟲實現(偽)球迷速成!

      藍藍設計www.wtxcl.cn )是一家專注而深入的界面設計公司,為期望卓越的國內外企業提供卓越的UI界面設計、BS界面設計 、 cs界面設計 、 ipad界面設計 、 包裝設計 、 圖標定制 、 用戶體驗 、交互設計、 網站建設 平面設計服務


      日歷

      鏈接

      個人資料

      藍藍設計的小編 http://www.wtxcl.cn

      存檔

      主站蜘蛛池模板: 老湿福利影院| 久久婷五月最新中文字幕| av免费网站| 国产精品日本熟女| 玖玖精品| 1024看片你懂的| 丝袜shi在线播放| 九台市| 欧美3p视频在线观看| 汝阳县| 五月天天爽天天狠久久久综合 | 国产深夜福利| 美女人妻激情乱人伦| 91黄色视频在线观看| av日韩一区二区三区| 亚洲另类色综合网站| 久草视频网站| 亚洲an第二区国产精品| 成人福利视频| 91视频在线| 亚洲乱码国产乱码精品精大量| 亚洲AV日韩AV永久无码网站| 熟女AV在线| 18久久| www.艹| 宽甸| AV一区二区三区| 国产一级三级三级在线视| 新91视频在线观看www| aⅴ亚洲 日韩 色 图网站 播放| av综合一区| 伊人网综合| 国产高清A片| 中国男人av| 日本理伦片午夜理伦片| 亚洲自拍制服| 欧美顶级metart祼体全部自慰 | 免费国产黄线在线播放| 亚洲AV永久天堂在线观看| 东山县| 亚洲AV专区一专区二专区三|