从零到一:构建你的A股数据自动化采集与分析系统
最近在和一些做量化研究的朋友聊天,发现大家都有一个共同的痛点——获取A股数据太麻烦了。要么得花钱买商业数据接口,要么得自己写爬虫,但写出来的代码要么不稳定,要么维护成本高。其实,如果你只是想获取基础的A股数据用于分析研究,完全没必要搞得那么复杂。
今天我就来分享一套我自己用了两年的A股数据采集方案,核心代码不到200行,但足够稳定、高效。更重要的是,我会教你如何把这些数据自动化地存入数据库,构建一个属于自己的数据仓库。这套方案特别适合那些有一定Python基础,但不想在数据获取上花费太多时间的开发者。
1. 理解数据源:不只是东方财富
很多人一提到A股数据,第一反应就是东方财富网。确实,它提供了丰富的公开数据,但我们要明白,单一数据源存在风险。在实际项目中,我通常会采用多源验证的策略。
1.1 主流数据源对比
先来看看几个常用的免费数据源:
| 数据源 | 数据类型 | 更新频率 | 稳定性 | 获取难度 |
|---|---|---|---|---|
| 东方财富 | 实时行情、财务数据、股东信息 | 实时 | 较高 | 中等 |
| 新浪财经 | 实时行情、历史K线 | 实时 | 高 | 简单 |
| 腾讯财经 | 实时行情、新闻资讯 | 实时 | 高 | 简单 |
| 巨潮资讯 | 公告、财报 | 交易日 | 中等 | 中等 |
提示:对于个人研究和学习用途,这些公开数据源基本够用。但如果是商业用途,请务必遵守相关网站的使用条款。
1.2 东方财富API的逆向分析
东方财富的数据接口设计得相对友好,但需要一些技巧来发现。打开浏览器开发者工具,切换到Network标签,然后访问东方财富的任意数据页面,你会看到类似这样的请求:
https://datacenter-web.eastmoney.com/api/data/v1/get?
sortColumns=HOLD_NOTICE_DATE,SECURITY_CODE&
sortTypes=-1,-1&
pageSize=500&
pageNumber=1&
columns=SECURITY_CODE,SECURITY_NAME_ABBR&
source=WEB&
client=WEB&
reportName=RPT_HOLDERNUMLATEST
关键参数解析:
reportName:决定获取哪种类型的数据pageSize:每页数据量,最大可设为500columns:需要返回的字段sortColumns:排序字段
2. 构建稳健的爬虫框架
直接写一个简单的requests调用很容易,但要构建一个能在生产环境稳定运行的爬虫,需要考虑更多因素。
2.1 会话管理与连接池
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
class RobustSession:
"""增强的请求会话类"""
def __init__(self, max_retries=3, backoff_factor=0.5):
self.session = requests.Session()
# 配置重试策略
retry_strategy = Retry(
total=max_retries,
backoff_factor=backoff_factor,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["GET"]
)
# 配置适配器
adapter = HTTPAdapter(
max_retries=retry_strategy,
pool_connections=10,
pool_maxsize=100
)
self.session.mount("http://", adapter)
self.session.mount("https://", adapter)
# 设置默认请求头
self.session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
'Accept': 'application/json, text/plain, */*',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Connection': 'keep-alive'
})
def get(self, url, **kwargs):
"""增强的GET请求"""
kwargs.setdefault('timeout', 30)
try:
response = self.session.get(url, **kwargs)
response.raise_for_status()
return response
except requests.exceptions.RequestException as e:
print(f"请求失败: {e}")
raise
这个会话类做了几件重要的事情:
- 自动重试:遇到网络波动或服务器错误时自动重试
- 连接池:复用TCP连接,提高效率
- 超时控制:防止请求无限期挂起
- 异常处理:统一的错误处理机制
2.2 数据获取的核心逻辑
import pandas as pd
import time
from typing import Dict, List, Optional
from datetime import datetime
class AShareDataCollector:
"""A股数据采集器"""
def __init__(self):
self.session = RobustSession()
self.base_url = "https://datacenter-web.eastmoney.com/api/data/v1/get"
# 数据字段映射表
self.field_mapping = {
'f2': '最新价',
'f3': '涨跌幅',
'f4': '涨跌额',
'f5': '成交量',
'f6': '成交额',
'f7': '振幅',
'f8': '换手率',
'f9': '市盈率',
'f10': '量比',
'f12': '股票代码',
'f14': '股票名称',
'f15': '最高价',
'f16': '最低价',
'f17': '今开',
'f18': '昨收',
'f20': '总市值',
'f21': '流通市值'
}
def get_stock_list(self, market: str = "沪深A股") -> pd.DataFrame:
"""获取股票列表
Args:
market: 市场类型,可选值:沪深A股、科创板、创业板等
Returns:
包含股票基本信息的DataFrame
"""
params = {
'sortColumns': 'SECURITY_CODE',
'sortTypes': '1',
'pageSize': 5000,
'pageNumber': 1,
'reportName': 'RPT_LIFT_STOCK',
'columns': 'SECURITY_CODE,SECURITY_NAME_ABBR,SECURITY_TYPE',
'filter': f'(SECURITY_TYPE="股票")(MARKET="{market}")'
}
all_data = []
page = 1
while True:
params['pageNumber'] = page
response = self.session.get(self.base_url, params=params)
data = response.json()
if not data.get('success'):
break
result = data.get('result', {})
current_data = result.get('data', [])
if not current_data:
break
all_data.extend(current_data)
# 检查是否还有更多数据
total_pages = result.get('pages', 1)
if page >= total_pages:
break
page += 1
time.sleep(0.5) # 礼貌性延迟
df = pd.DataFrame(all_data)
if not df.empty:
df = df.rename(columns={
'SECURITY_CODE': '股票代码',
'SECURITY_NAME_ABBR': '股票名称',
'SECURITY_TYPE': '证券类型'
})
return df
这里有几个关键点需要注意:
- 分页处理:东方财富的API通常有分页限制,需要循环获取
- 延迟控制<
7796



被折叠的 条评论
为什么被折叠?



