【实战】Python 爬虫爬取新浪财经盈利能力数据(多 Sheet Excel + 分页爬取 + 数据统计)

爬虫(二):新浪财经爬虫(获取文本信息) 新浪财经爬虫(获取文本信息) BiuBiu,接上一篇文章,这一次,我并没有用东方财富网站,而是新浪财经网,当然,也是因为个人需要啦。但是我看了一下,大差不差,只要看懂那些div,就能够爬取。 首先给大家看一下需求:获取新浪财经网上公司研究的研究报告整篇文章,如下图: (按照我上一篇文章,只能做到获取这页的相关信息,但是不能获取里面的具体内容) 当然,也是看了几个爬虫视频过来的,然后按照自己的理解加上调试,搞出来的 ... 阅读详情

一、前言

在金融数据分析场景中,新浪财经的上市公司盈利能力数据是行业研究、投资分析的重要数据源。本文将从需求拆解→技术选型→浏览器分析→代码实现→结果验证 全流程,讲解如何用 Python 爬取新浪财经 2024 年度第四季度各行业盈利能力数据,并生成包含多行业 Sheet 和统计总结 Sheet 的 Excel 文件,帮助大家掌握实战爬虫开发的核心思路和避坑技巧。

二、需求分析

本次爬虫开发的核心需求可拆解为以下 5 个核心目标,覆盖 “数据采集→数据清洗→数据输出” 全链路:

需求阶段 具体要求 核心目标
数据采集(行业列表) 访问指定 URL,提取select标签name="s_i"的选项值 + 文本,组成行业键值对 获取所有待爬取的行业维度
数据采集(分页识别) 基于行业参数,解析分页标签(class=pages)获取总页码数 确保爬取行业全部数据,无遗漏
数据采集(多页数据) 按指定 URL 格式(行业 + 年份 + 季度 + 页码)爬取所有页面源码(编码 gbk) 完整获取单行业全量数据
数据清洗 用 pandas 提取 id=dataTable 的表格,股票代码补零至 6 位 保证数据格式规范、可用
数据输出 各行业数据写入 Excel 不同 Sheet,新增 “总结” Sheet 统计核心指标(公司数、营收总计、净利润总计、ROE 均值) 输出结构化、可分析的最终数据

核心约束:

  • 编码必须适配新浪财经的gbk格式,否则会出现乱码;
  • Excel Sheet 名长度限制(最大 31 字符);
  • 需适配分页标签无 “共 X 页”、仅展示 “上一页 / 数字 / 下一页” 的场景。

三、浏览器开发工具实操(关键!)

爬取前需通过浏览器开发者工具分析目标网页结构,这是爬虫开发的核心前置步骤,以 Edge为例:

步骤 1:分析行业列表(name=s_i 的 select 标签)

  1. 打开目标 URL:https://vip.stock.finance.sina.com.cn/q/go.php/vFinanceAnalyze/kind/profit/index.phtml;
  2. 按CTL+Shift+I打开开发者工具,切换到「Elements」标签;
  3. 按Ctrl+F搜索<
python爬虫:利用Selenium库来爬取新浪财经股票信息 ( 这里chromedriver最新版是 114.0.5735.90,版本太低,并且它只包含win32的版本,和我自己电脑上的谷歌浏览器版本不一样,在后续使用的时候会出现问题,详情见后面)【Win+R】→输入cmd→按【Enter】键→输入”where python”→按【Enter】键。这个链接包含最新的google浏览器模拟器下载链接,我版本不匹配和win64版本的要求。我又重新下载了,版本正确的模拟浏览器,问题才得以解决。遇到的问题:模拟浏览器的版本不匹配。 阅读详情

相关推荐

某招聘网站“数据分析”相关岗位招聘信息爬取并分析

确定目标 简单分析数据分析相关岗位的薪酬状况及技能要求; 尝试数据分析从数据获取到数据分析报告撰写的整个数据分析流程,学习爬虫、数据清洗、数据分析相关技巧。 数据获取 获取的岗位数据来源于某招聘网站,采取爬虫的方式获取,岗位搜索的关键词为:“数据分析”,爬取的信息包括:岗位名称,城市,薪酬,学历要求,经验要求,岗位描述/职责,分五次爬取,爬取了北京、上海、广州、深圳、南京五个城市的岗位数据共...

JinSheng 1万+

Python从零到实战:系统学习路径与爬虫数据分析项目指南

编程语言作为人机交互的核心工具,其设计哲学直接影响开发效率与应用广度。Python凭借简洁的语法结构和动态类型特性,降低了编程的入门门槛,同时通过丰富的标准库和第三方生态,实现了从脚本编写到大型系统开发的全面覆盖。在数据处理领域,Python通过Pandas、NumPy等库提供了高效的数据结构和计算能力,结合Matplotlib、Seaborn等可视化工具,形成了完整的数据分析技术栈。这种技术组合的价值在于能够将原始数据转化为直观洞察,支撑业务决策和自动化流程。典型的应用场景包括市场趋势分析、用户行为研究和

weixin_30372371的博客 360

Python 爬虫数据处理:爬取数据统计报表自动生成

规模化 Python 爬虫长期运行过程中,采集总量、每日增量、失败请求、重复数据、异常接口、存储占用、爬取耗时等核心指标,是爬虫运维、任务调度、策略优化、成本管控的核心参考依据。传统人工统计日志、手动汇总数据的方式效率低下、误差较大、无法实时监控爬虫运行状态,难以适配 7×24 小时不间断采集的工程化爬虫业务。依托程序自动化生成标准化统计报表,可实现爬虫数据指标可视化汇总、运行状态实时研判、异常问题提前预警、历史数据追溯分析,全面提升爬虫项目运维效率与数据治理能力。

2503_91057718的博客 393

新浪财经24小时python爬虫程序(内置企业微信机械人推送功能)

新浪财经24小时python爬虫程序,内置自动推送到企业微信的群机械人的功能。适合微信企业群使用。爬虫仅供个人学习研究python使用,请勿使用于商业或非法用途。

blender中合并的模型,在threejs中显示多个mesh;blender多材质烘培成一个材质

5、优化项(省略此步骤,直接进行步骤6),进入到视图着色方式(此时没有灯光,整体偏暗,如果不调整灯光,烘培出来的材质也偏暗,因此此步骤为优化项,通畅建议调整)。在右边栏进入世界环境,调整颜色。7、烘焙成功之后,新建一个材质,将第三步创建的纹理图像作为材质的纹理,连接到基础色,并把模型的材质改为此材质,其他的材质全部删除。2、处理uv,在侧边栏选择数据-uv贴图,选中使用的uv,进入编辑模式,全选,键盘u,选择智能uv投射。3、处理材质,在侧边栏选择材质,进入着色,在着色器编辑器新建一个图像纹理,新建图像。

AllBluefm的专栏 2534

WinDbg调试工具安装全攻略:从下载到配置的保姆级教程(Windows 10/11适用)

本文提供了一份详细的WinDbg调试工具安装与配置指南,适用于Windows 10/11用户。文章对比了WinDbg Preview独立版与SDK内置经典版的区别,并手把手指导从Microsoft Store或Windows SDK完成安装。核心部分重点讲解了如何配置符号文件路径与源代码路径,这是让WinDbg发挥强大调试功能的关键步骤,并针对常见安装问题提供了实用的排错方法。

hp777的博客 399

PROSPECT-D模型演进与多光谱植被参数反演实践

本文深入探讨了PROSPECT-D模型的演进历程及其在多光谱植被参数反演中的实践应用。从PROSPECT初代到最新的PROSPECT-D版本,模型通过不断优化参数系统和光谱范围,显著提升了叶片光学特性分析的精度。文章结合田间案例,展示了该辐射传输模型在农业遥感中的实际价值,包括叶绿素含量反演、水分胁迫预警等关键应用场景。

weixin_34062469的博客 535

SiC MOSFET驱动设计实战:从特性解析到电路优化

本文深入解析SiC MOSFET的核心特性及其驱动电路设计要点,涵盖高温稳定性、快速开关能力等关键特性,并提供驱动电压配置、电流能力计算、布局优化等实用方案。特别针对第三代电力电子半导体SiC MOSFET的驱动要求,分享STGAP1AS等典型驱动方案的应用技巧,助力工程师解决高频应用中的EMI和热管理挑战。

weixin_29230865的博客 369

PyInstaller打包后在Win7无法运行,提示缺少`api-ms-win-core-path-l1-1-0.dll`问题解决

这个问题的关键在于Python 3.12和Windows 7之间的兼容性问题。解决方法是使用Python 3.8.8版本进行打包,确保程序能够在Windows 7系统上运行。如果你也遇到类似的问题,不妨尝试降级Python版本,看看是否能够解决。希望我的经验能够帮到你!如果你在使用PyInstaller打包时遇到其他问题,欢迎留言讨论。

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1005

学Simulink——线控转向(Steer‑By‑Wire, SBW)路感模拟与回正控制仿真

本文详细介绍了线控转向(SBW)系统的Simulink建模方法,重点讲解了路感模拟与回正控制的实现原理。文章首先分析了SBW系统结构,建立了方向盘和前轮的动力学方程;随后分步骤演示了Simulink建模过程,包括方向盘二阶动力学、前轮位置闭环控制、路感反馈计算等核心模块;最后通过仿真验证了转向跟随性能、路感反馈效果和自动回正功能。文中还提供了工程实现的关键参数和注意事项,为开发真实的SBW系统提供了实用指导。该模型可扩展应用于主动转向、故障注入等高级功能开发。

xiaoheshang_123的博客 45

YOLO系列算法改进 | C3k2改进篇 | 融合MambaOut轻量化门控架构 | 纯卷积实现超越Mamba性能的同时兼顾极致轻量化与边缘部署效率 | CVPR 2025

YOLO系列算法改进 | C3k2改进篇 | 融合MambaOut轻量化门控架构 | 纯卷积实现超越Mamba性能的同时兼顾极致轻量化与边缘部署效率 | CVPR 2025 (以YOLOv26最新目标检测模型为基础,利用C3k2_MambaOut创新模块进行改进)

2502_91881744的博客 225

Avalonia 超级详细学习指南

什么是 Avalonia?Avalonia 是一个开源的、跨平台的 GUI 框架,允许开发者使用 XAML 和 C# 构建现代化、高性能的桌面应用程序。与其他框架相比,Avalonia 具有强大的跨平台能力和灵活的界面设计。} }()Avalonia 的特点和优势跨平台性:Avalonia 可以在 Windows、Linux、macOS 等多个平台上运行,开发者可以编写一套代码,然后在不同的操作系统上运行相同的应用程序。

仰望星空的博客 1万+

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

上一篇: 基于selemium模块的数据爬虫运行环境配置手册(定制版本)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址