Dcard API 2.0版本爬蟲說明

作者：Jia│2020-08-22 20:38:23│巴幣：6│人氣：3935

前言

目前網路上能查詢到 Dcard 爬蟲的文章，幾乎都是使用 www.dcard.tw/_api/ 這個 API 來抓取。最近透過開發者工具到發現好像還有 2.0 版本的 API，不知是否近期才出來的。

整理

API 網址：https://www.dcard.tw/service/api/v2

說明	請求方法	路徑
全部文章	GET	/posts
看板資訊	GET	/forums
看板內文章列表	GET	/forums/{看板名稱}/posts
文章內文	GET	/posts/{文章ID}
文章內引用連結	GET	/posts/{文章ID}/links
文章內留言	GET	/posts/{文章ID}/comments

全部皆回傳 JSON 格式資料。

* 舊版的只有在 API 網址上不同，其餘的路徑、方法、回傳資料目前觀察起來都一模一樣。

舊版 API 網址：https://www.dcard.tw/_api

API 說明

完整的 API 說明請至我的部落格閱覽，

會有較佳的閱讀體驗~~~

<<< 爬蟲 Dcard API 2.0 版本？！ >>>

喜歡 3 收藏引用留言推上首頁檢舉

引用網址：https://home.gamer.com.tw/TrackBack.php?sn=4891061
All rights reserved. 版權所有，保留一切權利

相關創作

同標籤作品搜尋：Dcard|API|爬蟲

【手把手帶你學會爬蟲】#3 別著急！先來找 API！

留言共 4 篇留言

妖師：
請問Dcard的api已經不能進行爬蟲了嗎?
一般的網頁爬取好像也不行呢(https://www.dcard.tw/f)
都會出現403error Q_Q
https://github.com/DIYgod/RSSHub/issues/6697

01-15 10:56

Jia：
剛剛試過...確實一般的方式會被擋掉>< (回傳403)
你可以將 r.text 儲存成 html 網頁檔查看。

後來我是用 cloudscraper 套件解決(https://pypi.org/project/cloudscraper/)，
雖然有時還是會沒辦法，不過重試幾次就行了
(如果你有找到更好的辦法，一定要告訴我~01-15 20:28

幹哥：
我剛剛有試過樓主提供的cloudscraper確實可行
想問問是Dcard做了怎樣的限制
讓一般的requests無法順利爬蟲呢?
P.S. 我有用selenium也可以順利爬到，不過比較慢QQ

01-19 14:32

Jia：
我將 requests 的結果存成 html 打開來看：
https://imgur.com/a/e7qUOPB

Dcard 應該是使用 Cloudflare 的服務(CDN)，
可能最近有設定什麼、有發生什麼事，不知道
然後它會擋掉我們 requests 的請求[e36]

但用瀏覽器(包括Selenium)就可以順利顯示01-19 22:57