創作內容

17 GP

2022/01/22 爬蟲&live

作者:熾炎之翼│2022-01-22 23:02:10│巴幣:34│人氣:240
昨天晚上到半夜都在搞line bot
就是安裝新的功能
一個比較簡單就是可以直接對它傳訊息來變更參數
實現方法就是把要自定義的參數設成json
透過用指令讀寫的方式去變更
這樣類似於小型資料庫的方式就不用讓我每次還要上去改程式碼
有時候手邊沒有電腦就很麻煩

另一個就比較複雜了
就是我婆燈露的fan club裡的圖片網址爬取
因為她那個網站設計的關係 所以你點進去是無法下載的
通常只能用電腦從HTML碼去把圖片網址扣下來
此舉不只花時間又不能在手機上操作
所以我就想利用對機器人傳遞指令來進行爬取

但是這可不容易
最大問題是這些照片要登入後才能看到
要怎麼先處理掉登陸的問題才是關鍵
以往的我會用selenium來處理
但是這個方法低效又不穩定
於是這次我就用別的方法來實現

首先我下載了fiddler
這個程式就是俗稱的抓包工具
可以攔截本地端和網路端之間的封包
我快速學習了怎麼使用後
透過實際去fan club網站登入
然後攔截到了登陸過程中瀏覽器向網站發出的一堆東西
然後從中找到了帶有登入資訊的POST

如此一來透過requests套件就能製造一個同樣的data
並post給網站以完成登入事件
這樣完成帳號驗證後 接著就是再熟悉不過的爬蟲過程了

成果如下(因為是付費內容 所以特別處理了)
轉送最新的5張照片


傳送第50張照片


之所以不發成照片是因為line會壓縮
用照片原始網址就能下載到無損的檔案

如此這樣就讓複雜繁瑣的事情變得輕鬆的不得了
這次實作也讓我學會了抓包還有利用requests的post功能去處理登入事件


然後今天就是開心看live
這次有跟到轉播場比較特別
但今天其實因為疫情有點在猶豫要不要去
後來想想還是戴兩層口罩過去了

雖然這場基本上是家虎場
但我今天想說防疫為重
連王劍都沒帶 直接當一個地藏 笑死

轉播場地真的不錯
而且我又挑到一個最好的位置
可以獨享超大投影幕 旁邊也沒人


而其他人都在後面光害或是喊mix
我的畫風有點格格不入XDDD

然後心得在這裡


對 然後看完超累
明天還要看DAY2
今天不會像昨天一樣熬夜研究程式了
晚上要好好睡覺

差不多就這樣
感覺做了好多事情喔
引用網址:https://home.gamer.com.tw/TrackBack.php?sn=5370668
All rights reserved. 版權所有,保留一切權利

相關創作

留言共 5 篇留言

超稀有S級食材魩仔魚
好好喔 我明天2點多才解放

01-22 23:09

熾炎之翼
高中生先道歉01-22 23:10
超稀有S級食材魩仔魚
臭宅先道歉

01-22 23:16

熾炎之翼
好我原諒你 祝你明天考試順利01-22 23:19
我只是路過的蘿莉控
不過這樣感覺機器人似乎會有個資之類的風險?

01-22 23:18

熾炎之翼
這倒是還好 因為我的帳密是放在機器人架的伺服器裡
基本上如果有人能夠登入我伺服器的帳號才看得到 不過竟然這樣他要登入我的fan club也是輕而易舉01-22 23:21
熾炎之翼
而且說真的 他進去也不能幹嘛 就只能看照片看影片看看部落格而已XDDD01-22 23:22
班尼.史克斯
感謝你今天來w
下次可以一起家虎和MIX

01-22 23:22

熾炎之翼
好XD 抱歉今天當地藏www
等疫情好一點還有我嘴巴沒破洞再教我這些吧XD01-22 23:23
我只是路過的蘿莉控
瞭解w

是說
戴兩層口罩沒有比較好w
畢竟口罩間有空隙

01-22 23:31

熾炎之翼
至少在心理作用上讓我比較安心 [e22]01-22 23:32
我要留言提醒:您尚未登入,請先登入再留言

17喜歡★H32902227 可決定是否刪除您的留言,請勿發表違反站規文字。

前一篇:R3BIRTH Live... 後一篇:R3BIRTH Live...

追蹤私訊切換新版閱覽

作品資料夾

rogerjian有緣人
哈囉看更多我要大聲說4小時前


face基於日前微軟官方表示 Internet Explorer 不再支援新的網路標準,可能無法使用新的應用程式來呈現網站內容,在瀏覽器支援度及網站安全性的雙重考量下,為了讓巴友們有更好的使用體驗,巴哈姆特即將於 2019年9月2日 停止支援 Internet Explorer 瀏覽器的頁面呈現和功能。
屆時建議您使用下述瀏覽器來瀏覽巴哈姆特:
。Google Chrome(推薦)
。Mozilla Firefox
。Microsoft Edge(Windows10以上的作業系統版本才可使用)

face我們了解您不想看到廣告的心情⋯ 若您願意支持巴哈姆特永續經營,請將 gamer.com.tw 加入廣告阻擋工具的白名單中,謝謝 !【教學】