創作內容

2 GP

Selenium

作者:Yotsuba│2020-06-11 19:46:07│巴幣:4│人氣:168
有寫過爬蟲對於 Selenium 應該不陌生,多少都會聽過它

Selenium 實際上也是網頁測試工具,所以當然就可以拿來用在爬蟲

不過老實說我完全沒用過 Selenium,所以能為各位介紹的很有限


Selenium 如何測試網頁呢 ? 很直覺,非常直覺

這邊放上一段 Code :




(由於我沒有執行過它,所以我也不希望大家直接複製,我就只貼圖片了)

這段 Code 的意思是打開 Chrome 瀏覽器,然後前往巴哈姆特首頁,最後關閉瀏覽器

所以說 requests 是偽造請求的話,那 Selenium 是真的模擬使用者行為


既然有一個這麼強大的工具,那我們還需要 requests 幹什麼 ?

requests 是從底層發送 HTTP 請求,Selenium 是直接打開瀏覽器,就像腳本一樣

所以 requests 的效能及占用記憶體是直接屌打 Selenium 的

能在終端解決的事情就在終端解決,真的太難爬取的網站在使用 Selenium

這也是為什麼我沒有用過,甚至我有點討厭 Selenium 的原因

其實就是一個強迫症而已,我個人偏好事情都在終端完成,比較乾淨且效率好


具體來說什麼時候使用 Selenium 當爬蟲 ?

AJAX ! 就是上篇提到的 AJAX

因為 Selenium 真的使用瀏覽器,所以有能力執行 JavaScript 及各種重導向

而 requests 無法執行 JavaScript,雖然這並不代表 requests 註定無法處理 AJAX 請求

只是被 JavaScript 荼毒到受不了的時候,或者有什麼太難處理的 POST 表單時

你就可以考慮使用 Selenium,總之就是來補 requests 太難做的事情

或者你只學 Selenium 爬蟲,用一招打天下也是可啦,不過我不建議 XD


至於 Selenium 的使用教學你可以參考 Google 到的各方資料

因為 Selenium 是一個全新的世界,我就不多解釋了,我也沒用過 XD

只是提到 AJAX 及爬蟲就有必要提到 Selenium


要注意 ! Selenium 分析 HTML 的方式不是用 BeautifulSoup

因為你已經進入到一個瀏覽器的世界了,就要使用 Selenium 相對的語法

如果未來有需要,別忘記還有 Selenium 這個工具
引用網址:https://home.gamer.com.tw/TrackBack.php?sn=4813236
All rights reserved. 版權所有,保留一切權利

相關創作

留言共 0 篇留言

我要留言提醒:您尚未登入,請先登入再留言

2喜歡★happy819tw 可決定是否刪除您的留言,請勿發表違反站規文字。

前一篇:AJAX... 後一篇:Pixiv 爬蟲...

追蹤私訊切換新版閱覽

作品資料夾

Summer244各位~
小屋新畫作出來啦~ 歡迎來看看~?看更多我要大聲說4小時前


face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】