目录
作为一个豆瓣重度用户,从2015年注册到现在,我的“书影音”标记已经积累了上千条。每当朋友问我“最近有什么好书推荐”或者“那部电影你看了没”,我都想快速从自己的标记记录里翻出评价。可惜豆瓣官方一直没有提供像样的数据导出功能,网页版翻页又慢得要命——于是我想:干脆自己写个爬虫,把数据全抓下来。
说干就干,结果踩了三个大坑。第一,豆瓣的登录早已不是简单的账号密码POST请求,滑块验证、设备指纹、反爬策略层层加码。第二,我自己的账号因为频繁请求被短时封禁过两次。第三,网上搜到的教程大部分是五年前的代码,连requests.Session怎么用都没写清楚。
这篇文章就是我最终成功的完整记录。我会从零开始,带你实现一个生产级别的豆瓣个人数据爬虫。全程不仅给出代码,还会解释每一步为什么这么写,遇到了什么问题,怎么解决的。全文大约5500字,代码可以在我的GitHub仓库找到(文末给出)。
免责声明:本文仅用于技术学习和个人数据备份,请勿对豆瓣服务器造成压力,勿将爬取数据用于商业用途。
订阅专栏 解锁全文
616



被折叠的 条评论
为什么被折叠?



