中药网络药理学这个方向,只要做过一次完整课题的人都知道,最耗时间的往往不是分析本身,而是前期那堆靶点数据的整理。TCMSP 作为中药系统药理学数据库,几乎是绕不开的一站,但它的交互方式对批量处理并不友好——你得一个个成分点进去,把靶点名称复制出来,再粘到表格里。一个复方动辄几十上百个成分,手工操作不仅慢,还特别容易漏、容易错位。这篇就聊聊怎么用 R 语言写一个脚本,把 TCMSP 的中药靶点基因批量抓下来,彻底告别复制粘贴。内容适合已经有一点 R 基础、正在做网络药理学或中药机制研究的人,也适合想借这个案例入门 R 网络抓取的朋友。我会把完整代码、每一步的设计理由、以及我自己踩过的坑都摊开讲,你照着改改就能用。
1. 先搞清楚 TCMSP 的数据到底藏在哪
动手写脚本之前,得先弄明白一件事:我们要抓的东西,在网页的什么位置。很多人一上来就打开 R 写代码,结果卡在"抓不到数据"上,根本原因是没搞清楚数据是服务端渲染还是客户端渲染。这个判断决定了你用哪种抓取思路,选错了方向,后面全是白费功夫。
1.1 TCMSP 的页面结构特点
TCMSP 全称是 Traditional Chinese Medicine Systems Pharmacology Database,它的中药详情页大致是这样组织的:你搜索一个中药名,进入它的页面,会看到一个成分列表,每个成分有 MOL ID、分子名、OB、DL 等指标。点进某个成分,才能看到它对应的靶点信息,包括靶点名称、基因名等。也就是说,靶点数据是挂在"成分"这一层的,而不是直接挂在"中药"这一层。
这个层级关系非常关键。它意味着我们的抓取逻辑必须是两级甚至三级:先拿到中药下的所有成分 ID,再逐个成分去取靶点。如果你只抓中药页面,是拿不到靶点的。我见过有人写了个脚本抓中药页,跑完发现只有成分列表,还以为是脚本写错了,其实是数据层级没理清。
另一个特点是,TCMSP 的页面在浏览器里看是正常的 HTML,但很多内容是随请求动态返回的。你需要用浏览器的开发者工具(F12)看一下 Network 面板,确认靶点数据是直接写在返回的 HTML 里,还是通过额外的接口异步加载的。这两种情况的处理方式完全不同。
1.2 判断数据加载方式:一个必做的动作
具体怎么判断?打开某个成分的详情页,按 F12 打开开发者工具,切到 Network 标签,然后刷新页面。看第一个文档请求(通常是那个 .php 或 .html 的请求)的 Response,在里面搜索靶点基因名,比如搜 "PTGS" 或者某个具体的基因符号。
- 如果能在文档 Response 里直接搜到,说明数据是服务端渲染的,直接请求这个 URL 再解析 HTML 就行,简单。
- 如果搜不到,但你在 Elements 面板里能看到,那多半是异步加载的,得去 Network 里找 XHR/Fetch 请求,看哪个接口返回了靶点数据。
我实测下来,TCMSP 的靶点信息在成分详情页里是能直接拿到的,属于相对好处理的情况。但它的 URL 参数结构需要你观察一下,通常是类似 molecule.php?mol_id=MOL000098 这种形式,把 MOL ID 作为参数传进去。抓住这个规律,批量抓取就有了基础。
提示:不同时间点 TCMSP 的页面结构可能有调整,所以不要死记我这里的 URL 格式,一定要自己用 F12 确认一遍当前的参数名和请求方式。这是整个脚本能不能跑通的前提。
1.3 抓取前必须想清楚的合规与频率问题
还有一点必须提前说:任何批量请求都要控制频率。TCMSP 是公共学术资源,你短时间内发几百个请求,一来可能被限流甚至封 IP,二来也不厚道。我的做法是在每次请求之间加一个随机延时,比如 Sys.sleep(runif(1, 1, 3)) ,让请求间隔在 1 到 3 秒之间浮动。这样既不会给服务器太大压力,也能降低被识别为异常流量的概率。
另外,抓下来的数据自己用于科研分析没问题,但不要拿去二次分发或者商用。这个边界心里要有数。把频率控制好、把用途限定在个人研究,是使用这类数据库的基本素养。
2. 用 R 搭建抓取环境:包的选择与取舍
环境准备这块,很多人容易走两个极端:要么装一大堆用不上的包,要么漏装关键依赖导致跑一半报错。我倾向于精简,只装真正需要的。下面说说我的选型逻辑,以及为什么这么选。
2.1 核心三件套:httr、rvest、stringr
抓取这件事拆开就是三步:发请求、解析 HTML、清洗文本。对应到 R 里,我一般用这三个包:
301



被折叠的 条评论
为什么被折叠?



