昨天晚上到半夜都在搞line bot
就是安裝新的功能
一個比較簡單就是可以直接對它傳訊息來變更參數
實現方法就是把要自定義的參數設成json
透過用指令讀寫的方式去變更
這樣類似於小型資料庫的方式就不用讓我每次還要上去改程式碼
有時候手邊沒有電腦就很麻煩
另一個就比較複雜了
就是我婆燈露的fan club裡的圖片網址爬取
因為她那個網站設計的關係 所以你點進去是無法下載的
通常只能用電腦從HTML碼去把圖片網址扣下來
此舉不只花時間又不能在手機上操作
所以我就想利用對機器人傳遞指令來進行爬取
但是這可不容易
最大問題是這些照片要登入後才能看到
要怎麼先處理掉登陸的問題才是關鍵
以往的我會用selenium來處理
但是這個方法低效又不穩定
於是這次我就用別的方法來實現
首先我下載了fiddler
這個程式就是俗稱的抓包工具
可以攔截本地端和網路端之間的封包
我快速學習了怎麼使用後
透過實際去fan club網站登入
然後攔截到了登陸過程中瀏覽器向網站發出的一堆東西
然後從中找到了帶有登入資訊的POST
如此一來透過requests套件就能製造一個同樣的data
並post給網站以完成登入事件
這樣完成帳號驗證後 接著就是再熟悉不過的爬蟲過程了
成果如下(因為是付費內容 所以特別處理了)
轉送最新的5張照片
傳送第50張照片
之所以不發成照片是因為line會壓縮
用照片原始網址就能下載到無損的檔案
如此這樣就讓複雜繁瑣的事情變得輕鬆的不得了
這次實作也讓我學會了抓包還有利用requests的post功能去處理登入事件
然後今天就是開心看live
這次有跟到轉播場比較特別
但今天其實因為疫情有點在猶豫要不要去
後來想想還是戴兩層口罩過去了
雖然這場基本上是家虎場
但我今天想說防疫為重
連王劍都沒帶 直接當一個地藏 笑死
轉播場地真的不錯
而且我又挑到一個最好的位置
可以獨享超大投影幕 旁邊也沒人
而其他人都在後面光害或是喊mix
我的畫風有點格格不入XDDD
然後心得在這裡
對 然後看完超累
明天還要看DAY2
今天不會像昨天一樣熬夜研究程式了
晚上要好好睡覺
差不多就這樣
感覺做了好多事情喔
創作內容
2022/01/22 爬蟲&live
生存日誌 (732)