1. 知乎盐选反爬现象解析
最近用Python爬取知乎盐选内容的朋友可能都遇到过这样的怪事:明明网页上显示的是正常文字,但爬下来的数据却变成了一堆莫名其妙的乱码。比如"中国"变成了"中囯","你好"显示为"你女"——这可不是你的代码出了问题,而是知乎最新部署的 字体反爬机制 在作祟。
我第一次踩这个坑是在爬取一篇盐选小说时。当时用BeautifulSoup顺利拿到了HTML,但保存到本地后发现所有章节内容都变成了"天书"。仔细对比后发现,网页源码中的文字和实际渲染的文字完全不同。比如页面显示"她轻轻叹了口气",源码里却是"彵轻轻叹丁口气"。这种 字形替换 现象就是典型的字体反爬。
通过浏览器开发者工具分析,可以看到知乎加载了特殊的WOFF字体文件。这些字体文件对常用汉字进行了重新映射——在字体文件中,"彵"这个生僻字被设计成显示为"她"的样式。当浏览器渲染页面时,虽然源码是"彵",但最终呈现给用户的是"她"。而我们的爬虫直接获取源码,自然就拿到了被替换过的错误文本。
2. 字体反爬技术原理
字体反爬的本质是 字形替换+字体渲染 的双重把戏。具体实现分为三个关键步骤:
- 字形替换 :服务器返回的HTML中,将真实文字替换为其他生僻字或乱码
- 字体映射 :通过自定义字体文件,将这些乱码字符渲染为正确的字形
- 动态加载 :每次请求都可能使用不同的替换规则,增加破解难度
以知乎为例,其字体反爬系统会动态生成类似这样的CSS:
@font-face {
font-family: 'zhihu-font';
src: url('//zhstatic.zhihu.com/fonts/zhihu-font.woff') format('woff'
475



被折叠的 条评论
为什么被折叠?



