Spring Boot多线程查询

SpringBoot多线程查询实战-查询库中所有数据多线程实现 但是,在数据量较大且服务器资源足够的情况下,多线程方法通常能够显著提高查询效率。此外,由于它是同步执行的,没有利用并行处理的能力,所以在处理大量数据时可能会比较慢。这个方法采用了分页查询的方式,每次只获取一部分数据,从而避免了内存溢出的问题。然而,它也是同步执行的,没有利用多线程或并行处理的能力。如果每次分页查询的数据量仍然很大,或者需要查询的轮数很多,那么这种方法的效率可能仍然会受到限制。​ ​ ​在比较这三种方式的效率时,我们需要考虑几个关键因素:数据量的大小、查询操作的复杂性、以及并行处理的能力。 阅读详情

多线程查询能够显著提升查询的效率和性能,尤其适用于处理大规模数据和高并发请求的场景。通过合理设计和使用多线程查询,可以充分利用系统资源,提高系统的响应速度和吞吐量.
同时配合Spring提供的JdbcTemplate,可以使查询效率得到很大的提升。

如下会展示两种形式:
       1.保证查询数据的准确完整性。
       2.允许数据容错。


线程池配置

import com.ruoyi.common.utils.Threads;
import org.apache.commons.lang3.concurrent.BasicThreadFactory;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.ThreadPoolExecutor;

/**
 * 线程池配置
 *
 **/
@Configuration
public class ThreadPoolConfig
{
    // 核心线程池大小
    private int corePoolSize = 50;

    // 最大可创建的线程数
    private int maxPoolSize = 200;

    // 队列最大长度
    private int queueCapacity = 1000;

    // 线程池维护线程所允许的空闲时间
    private int keepAliveSeconds = 300;

    @Bean(name = "threadPoolTaskExecutor")
    public ThreadPoolTaskExecutor threadPoolTaskExecutor()
    {
        ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
        executor.setMaxPoolSize(maxPoolSize);
        executor.setCorePoolSize(corePoolSize);
        executor.setQueueCapacity(queueCapacity);
        executor.setKeepAliveSeconds(keepAliveSeconds);
        // 线程池对拒绝任务(无线程可用)的处理策略
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        return executor;
    }

    /**
     * 执行周期性或定时任务
     */
    @Bean(name = "scheduledExecutorService")
    protected ScheduledExecutorService scheduledExecutorService()
    {
        return new ScheduledThreadPoolExecutor(corePoolSize,
                new BasicThreadFactory.Builder().namingPattern("schedule-pool-%d").daemon(true).build(),
                new ThreadPoolExecutor.CallerRunsPolicy())
        {
            @Override
            protected void afterExecute(Runnable r, Throwable t)
            {
                super.afterExecute(r, t);
                Threads.printException(r, t);
            }
        };
    }
}

保证查询数据的准确完整性

try {
      ThreadPoolTaskExecutor executor = SpringUtils.getBean("threadPoolTaskExecutor");
      // 创建有界队列的线程池
      List<Future<List<Entity>>> futures = new ArrayList<>();
      List<Entity> allResults = new ArrayList<>();
      for (Entity item : dateRanges) {
      	   // Callable<List<TransportPlanVo>> task = () -> EntityMapper.query(item); // 普通Mapper查询
      	   // 使用JdbcTemplate提高查询速度
           Callable<List<TransportPlanVo>> task = () -> EntityQueryWithJDBC(item);
           Future<List<Entity>> future = executor.submit(task);
                futures.add(future);
            }
            for (Future<List<Entity>> future : futures) {
                List<Entity> batch = future.get(30, TimeUnit.SECONDS); // 设置超时时间
                if (batch != null) {
                    allResults.addAll(batch);
                }
            }
            return allResults;
    } catch (Exception e) {
        throw new ServiceException("执行报错!");
    }

允许数据容错

ThreadPoolTaskExecutor executor = SpringUtils.getBean("threadPoolTaskExecutor");
List<Future<List<Entity>>> futures = new ArrayList<>();
List<Entity> allResults = new ArrayList<>();
try {
    for (Entity item : dateRanges) {
        // Callable<List<TransportPlanVo>> task = () -> EntityMapper.query(item); // 普通Mapper查询
        // 使用JdbcTemplate提高查询速度
        Callable<List<TransportPlanVo>> task = () -> EntityQueryWithJDBC(item);
        try {
            Future<List<Entity>> future = executor.submit(task);
            futures.add(future);
        } catch (RejectedExecutionException e) {
            // todo...
            log.error("任务被拒绝:线程池和队列已满");
        }
    }
    for (Future<List<Entity>> future : futures) {
        try {
            List<Entity> batch = future.get(30, TimeUnit.SECONDS); // 设置超时时间
            if (batch != null) {
                allResults.addAll(batch);
            }
        } catch (TimeoutException e) {
            // todo...
            log.error("任务超时:{}", e.getMessage());
        }
    }
} catch (InterruptedException | ExecutionException e) {
    log.error("任务执行异常:{}", e.getMessage());
}
return allResults;

EntityQueryWithJDBC:JDBC模板查询,注意sql语句之间的空格

	private List<Entity> queryDayWeightListDayWithJDBC(Entity entity) {
        StringBuilder sql = new StringBuilder();

        sql.append("SELECT").append(" ");
        sql.append("name,").append(" ");
        sql.append("age").append(" ");
        sql.append("from table").append(" ");
        sql.append("where 1 = 1").append(" ");
        sql.append("and name = '张三'").append(" ");
        sql.append("order by age asc");

        return Optional.of(jdbcTemplate.query(sql.toString(), (rs, rowNum) -> {
            Entity value = new Entity();
            value.setWgtNo(rs.getString("name"));
            value.setTmNetWgt(rs.getInt("age"));
            return value;
        })).orElseGet(ArrayList::new);
    }
springboot使用多线程进行扫描文件以及读取数据库 在这个方法中,我们使用BufferedReader从文件中读取每一行数据,然后对数据的每一个字段进行处理,处理后将数据保存到数据库。在上面的代码中,我们将添加文章的方法addArticle中的任务filterSensitiveWords使用@Async注解进行了异步处理,这样当用户调用addArticle方法时,敏感词过滤任务会异步执行,用户不必等待它的完成。假设我们有一个需求,需要从一个非常大的csv文件中读取数据,然后将其中某些字段的值进行处理,最后将处理后的数据保存到数据库中。 阅读详情

相关推荐

Spring boot 多线程 分页查询 合并结果

mysql 要使用 in 查询,in 的List比较大,多线程分解List查询 public List&lt;UserCountBiz&gt; getAttendByPageList(List&lt;Long&gt; list, int pageSize) throws Exception { int totalCount = list.size(); in...

REI的专栏 5663

SpringBoot--多线程处理

本文介绍SpringBoot多线程处理的方案。

IT利刃出鞘的博客 1万+

300万数据导出卡顿?Spring Boot+EasyExcel分页+异步方案让速度提升5倍!

Spring Boot+EasyExcel高效导出300万数据方案 传统POI导出存在内存溢出、响应超时等问题,而EasyExcel通过分页查询+流式写入将内存占用控制在100MB内,耗时降低80%。核心方案: 分页批处理:每页20万条数据分批写入,避免全量加载 动态Sheet切换:每百万数据分Sheet存储 异步并行:多线程处理不同数据段,结合ZIP压缩优化下载 性能对比:内存占用从1.5GB降至100MB,耗时从10分钟缩短至2分钟 避坑要点:必须分页查询、及时关闭资源、避免单Sheet过大 该方案显著

java专栏 1065

springboot 多线程实现

有时候,,如果,系统就要,有时会。而且当线程数量太多时,

m0_67393295的博客 2468

Spring Boot如何性能优化?一文教你搞定!

🏆 本文精选收录于《滚雪球学SpringBoot》专栏,专为零基础学习者量身打造。从Spring基础到项目实战,手把手带你掌握核心技术,助力你快速提升,迈向职场巅峰,开启财富自由之路🚀!无论你是刚入门的小白,还是已有基础的开发者,都能在这里找到适合自己的学习路径!    🌟 关注、收藏、订阅,持续更新中!和我们一起高速成长,突破自我!💡

**My Coding Family** 1296

详解Spring-Boot中如何使用多线程处理任务

本篇文章主要介绍了详解Spring-Boot中如何使用多线程处理任务,具有一定的参考价值,感兴趣的小伙伴们可以参考一下。

Spring Boot + MySQL 多线程查询与联表查询性能对比分析

在现代 Web 应用开发中,数据库性能是影响系统响应时间和用户体验的关键因素之一。随着业务需求的不断增长,单表查询和联表查询的效率问题日益凸显。特别是在 Spring Boot 项目中,结合 MySQL 数据库进行复杂查询时,如何优化查询性能已成为开发者必须面对的重要问题。在本实验中,我们使用了 Spring Boot 框架结合 MySQL 数据库,进行了两种常见查询方式的性能对比:多线程查询 和 联表查询。通过对比这两种查询方式的响应时间,本文旨在探讨在实际业务场景中,选择哪种方式能带来更高的查询效率,尤

sjsjsbbsbsn的博客 1695

基于 SpringAI 整合 DeepSeek 模型实现 AI 聊天对话

很多云平台都提供了一键部署大模型的功能,这里不再赘述(阿里云百炼平台、火山方舟-火山引擎等)Ollama。

📜一个热爱探索的人 1281

Spring boot多线程异步查询

SpringBoot多线程异步查询步骤 1、创建线程池 import java.util.concurrent.ThreadPoolExecutor; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.scheduling.concurrent.ThreadPoolTaskExe

weixin_42738811的博客 4958

REST-meta-MDD Data总结

sMRI数据使用:nwc1、nwc2、nwc3(同样数据集相关论坛中有相关信息指向需要使用wc1、wc2、wc3)多方咨询与讨论后决定使用nwc数据,这里说明wc数据相对wc数据要大的多如wc1的大小为1.33GB,而nwc1的数据却有6.90GB。VBM文件:/REST-meta-MDD/Sharing/REST-meta-MDD-VBM- phase1 -Sharing.tar.gz。1、Excel中的表型信息:1-男,2-女;-9999或空白表示缺少数据。

2404_88295660的博客 1553

商城系统全链路压测实战指南

全链路压测是模拟真实用户行为和生产环境流量,验证整个系统在高压下的稳定性和性能表现的关键手段。

monk all the way 1234

java使用多线程快速查询elasticsearch用户请求日志中上亿条数据

spring-boot,用于java操作ES。maven项目直接导入依赖。采用多线程查询上亿条用户请求信息。

qq_31839835的博客 438

大彩串口屏+LUA避坑指南:从Flash读写到控件状态配置的5个常见问题

本文针对大彩串口屏的LUA脚本开发,深度剖析了Flash数据存储与控件状态配置中的5个常见陷阱。重点讲解了如何通过标志位安全初始化Flash、正确处理多字节数据转换,以及如何精准配置按钮与文本控件的状态与事件响应,帮助开发者提升开发效率与代码可靠性。

weixin_27945229的博客 247

Spring Boot 多线程写入Excel和数据库校验demo

该demo采用Spring Boot,FastExcel,Mybatis-plus一起来实现百万级数据的导入和校验,入库,写的不好,纯粹记录。。多线程采用编程式事务来实现。多线程事务的实现,复制了大佬文章,地址如下:https://blog.csdn.net/2401_85910670/article/details/144256236cs 真是dog东西,在我不知道的情况下,把文章都变成了VIP可见,他妈的,VIP可见,老子没分到一分钱,还白嫖老子写的东西,不愧是李家公司带出来b。

TaylorSwiftRed的博客 316

用Arduino+ESP32复现TDOA定位:低成本实现厘米级精度的完整教程

本文提供了一套利用Arduino和ESP32平台,结合NRF24L01+模块与GPS/PPS时间同步方案,低成本复现高精度TDOA(到达时间差)定位系统的完整教程。教程详细阐述了从硬件选型、天线阵列设计、时间同步实现到核心算法与多径抑制的实战步骤,旨在帮助开发者和硬件爱好者以可控成本实现厘米级精度的定位演示系统。

weixin_29084111的博客 164

三臂杆大型液压机械臂集中式ADRC控制系统设计

本文设计了一种用于三臂杆液压机械臂的集中式自抗扰控制(ADRC)系统。该系统通过建立包含惯性矩阵、科氏力、重力及摩擦力的非线性动力学模型,并集成液压系统传递函数,构建了完整的系统模型。控制方案采用跟踪微分器安排过渡过程,扩张状态观测器实时估计系统状态和总扰动,以及非线性状态误差反馈生成控制量。MATLAB实现展示了集中式ADRC控制器的核心结构,包括参数定义、跟踪微分器、扩张状态观测器和非线性反馈模块的设计。该系统能有效处理多关节耦合效应,实现三输入三输出的MIMO控制,具有抗干扰能力强、响应速度快的特点。

huanghm88的专栏 274

百万级数据量导出:Spring Boot 与 MySQL 的完美结合

/** * 导出数据到文件 * * @param fileName 导出文件名 * @param pageSize 每页数据条数 */ public void exportToFile(String fileName, int pageSize) throws IOException { File file = new File(fileName);这时候,我们可以将数据分区导出,每个线程只处理一部分数据,从而提高导出性能。

资料免费分享,点击名片 490

QCC51XX---人机接口设备协议( HID)

QCC51XX---人机接口设备协议( HID)

weixin_42162924的博客 822

java并发查询数据

并发服务:通过继承一个Callable接口来回去并发后,个线程的返回结果,线程中调用的方法返回什么结果,这里<>中的泛型就指定什么类型,也可以直接Object,注意基础的方法中的call方法返回类型和基础的Callable接口中的类型保持一致 package com.springboot_android.thread; import com.project_entity.bean...

qq_29950673的博客 1946

2026华为OD机试(Python)真题【E卷+A卷+B卷+C卷+D卷】目录+在线OJ

华为OD机试真题题库【E卷+A卷+B卷+C卷+D卷】目录,Python实现。

MISAYAONE的博客 29万+

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

百万级数据合并去重实战:基于Spring Boot3.x + Redis + 多线程的高效解决方案

资源优化→ 针对2GB数据库内存精心调优并发安全→ 三重机制保证多线程绝对安全断点续传→ valid状态追踪,支持中断后继续失败隔离→ 分片独立,局部失败不影响全局流式处理→ 避免OOM,支持海量数据详细日志→ 失败原因清晰,便于排查分片大小→ 2000条是2GB内存的最佳实践线程数量→ 4个线程平衡性能与资源批量大小→ 200条降低事务锁定时间索引必须→ 索引能提升10倍性能监控重要→ 实时监控避免盲目等待。

phubing 1097

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

AI助力,用 Spring AOP 优化 IN 查询,效率提升巨大!

/ 每个 IN 子查询的最大参数数量。

huarshao的博客 801

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

springboot+easyexcel实现百万级数据导出(多线程分页查询、zip格式)

摘要: 该代码实现大数据量分批次导出为ZIP文件的功能。通过移除排序条件优化查询性能,采用多线程处理分页数据(每批BATCH_SIZE条),使用EasyExcel生成多个Excel文件后打包为ZIP。关键点包括:线程池管理(10个核心线程)、CountDownLatch同步、临时目录清理,最终通过流式输出压缩包。完整流程包含:数据分页查询→Excel生成→ZIP打包→资源清理,并记录各阶段耗时和状态日志。适用于高性能大数据导出场景。

zhangjian1949的博客 217

springboot jpa 查询缓存问题解决

spring.jpa.open-in.view: false springboot 2.x以后这个参数默认是true ,遇到多线程dml db的话 要把这个改成false 不然 springboot jpa 就查 缓存了每次都一样 ,

LYoungJ的博客 3247

mysql count integer_Spring Boot下Java多线程统计MySQL中分表记录总数的示例

由于要汇总的表比较多,于是用了多线程:@Slf4j@Componentpublic class Check {public static final ExecutorService pool = Executors.newCachedThreadPool();@Autowiredprivate JdbcTemplate jdbcTemplate;//统计各个表的数据和@Scheduled(cron...

weixin_39978282的博客 241
上一篇: 节流和防抖的区别
下一篇: 若依配置Druid多数据源
云雾Ⅶ
博客等级 码龄7年 76粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址