本文记录了使用rvest & RSelenium 包进行爬虫与网页渲染的相关知识点及本人的编程操作过程。涉及到基本爬取操作、爬取缺失部分如何处理、操作网页过滤等步骤。
本人非计算机专业,如有措辞不慎敬请提出。
爬虫目标
这学期为了凑学分,选了一门R语言的课,才发现R语言远比我们想象的要强大。至少问过身边同学,他们都不知道R还能爬虫qaqq
为了防止自己学过就忘..写一篇blog记录一下被rvest与Rselenium折磨的这一个周的成果。
以下是代码爬取的要求:
- 从IMDb首页出发,提取该榜单所有电影的user reviews各100条
- 使用Rselenium进行网页操作:User Reviews可能存在剧透(Spoilers),需要进行隐藏(Hide Spoilers);每个review网页初始显示评论25条,需要点击Load More加载更多评论。
- 保存每条评论及对应的电影评分。Tips:存在只有内容没有评分的评论。
1 爬虫知识整理
在进行实例展示之前,先回顾一下R语言爬虫需要用到的知识。主要涉及两个库:rvest与rselenium
1.1 Rvest包
Rvest功能强大,语法简洁,用起来真的很顺手。由于本文只用到了读取与提取的API,在这里也只对相关的API进行说明。
| 编号 | 函数名 | 作用 |
|---|---|---|
| 1 | read_html() | 根据给定的url,【读取其html文档】 |
| 2 | html_nodes() | 提取html文档中的对应【节点与元素】 |
| 3 | html_name() | 提取【标签名称】 |
| 4 | html_text() | 提取标签内的【文本内容】 |
| 5 | html_attrs() | 提取【所有的属性名称及其内容】 |
| 6 | html_attr() | 提取【指定】属性的内容 |
| 7 | html_table() | 将网页数据表的数据解析到R的dataframe中 |
| 8 | html_form() | 提取表单 |
我们结合具体环境看一下部分代码的作用:
1.1.1 read_html()
在read_html()的参数部分,我们给定一个网址,这个函数就能够返回这个网址指向的HTML网页数据。
# 使用read_html()下载IMDB首页的html文件
url <- "https://www.imdb.com/chart/moviemeter?sort=rk,asc&mode=simple&page=1"
webpage <- read_html(url)
webpage
# 返回结果:
#{html_document}
#<html xmlns:og="http://ogp.me/ns#" xmlns:fb="http://www.facebook.com/2008/fbml">
#[1] <head>\n<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">\n<script #...
#[2] <body id="styleguide-v2" class="fixed">\n <img height="1" width="1" style #...
1.1.2 html_*()
不可避免的,我们需要了解一些HTML的知识:
下图中<>框起的部分就是标签,而每个<>后对应的第一个紫色英文单词就是我们所说的标签(如div);黄色部分是属性名称(如name, class);属性名称 = “?” ,引号中的内容就是我们说的属性内容;黑色部分就是显示的文本
将各部分拆解了以后,我们也就能明白每个函数能提取出什么来——
html_nodes():使用标签进行定位;
html_attrs():提取等号后的属性内容;
html_text():提取“黑色部分”
<
1万+



被折叠的 条评论
为什么被折叠?



