积木报表导出数据量太大报错

积木报表大数据量导出报错排查:POI内存溢出与异步流式调优指南 在Java服务端开发中,使用Apache POI生成Excel是高频需求,但当数据量达到数十万行时,传统的XSSFWorkbook全量加载模式极易触发堆内存溢出,表现为'Could not initialize class'、GC overhead limit exceeded等异常,甚至导致服务假死。POI的内存模型决定了每个单元格都是Java对象,行数与列数的乘积直接放大堆消耗,单纯调大JVM参数只是推迟崩溃。解决大数据量导出问题的通用思路是结合流式写入引擎SXSSFWorkbook控制内存窗口,配合数 阅读详情
AI摘要

本文介绍了解决积木报表在导出大量数据时遇到的性能瓶颈、内存溢出等问题的方法,包括优化SQL查询、调整分页大小、使用EasyExcel等。

积木报表导出数据量太大报错问题处理

  1. 问题背景
  2. 解决方案
  3. 运行结果
  4. 关键代码

问题背景

积木报表在导出大量数据时可能会遇到报错‌,‌这通常是由于数据量大导致的性能问题或数据处理方式不当引起的。‌以下是一些可能导致报错的原因及相应的解决方法:‌

‌性能问题‌:‌当数据量非常大时,‌积木报表在导出过程中可能会遇到性能瓶颈,‌导致导出过程缓慢甚至失败。‌这可能是因为报表工具本身或其所依赖的库(‌如Apache POI)‌在处理大量数据时的性能不足。‌解决这一问题的方法包括优化SQL查询、‌调整分页大小、‌使用更适合处理大量数据的库(‌如阿里巴巴的EasyExcel)‌进行导出,‌或者采用异步处理的方式来避免接口超时1。‌
‌数据处理方式‌:‌如果待导出的数据包含特殊字符,‌如英文双引号或等号,‌这可能导致JSON反序列化报错。‌这种情况下,‌需要检查业务数据,‌确保数据格式正确,‌避免包含可能导致报错的特殊字符23。‌
‌内存溢出‌:‌如果报表工具或其依赖的库不支持流式(‌分批)‌导出,‌大量数据的处理可能会导致内存溢出。‌解决这一问题的方法包括使用流式导出的方式,‌或者检查报表工具是否支持异步分页呈现和流式(‌分批)‌导出Excel的功能4。‌
综上所述,‌解决积木报表在导出大量数据时报错的问题,‌需要从优化数据处理方式、‌调整导出设置、‌以及确保数据格式正确等方面入手。‌通过这些方法,‌可以有效提高报表导出的稳定性和性能。‌

解决方案

1、在项目中写个拦截器,拦截积木报表导出接口
2、获取到积木报表查询的数据,自己实现导出功能,这里我使用的是阿里的easyExcel导出

运行结果

在这里插入图片描述
在这里插入图片描述

关键代码

1、添加拦截器

拦截积木报表导出接口/jmreport/exportAllExcelStream
@Component
@Slf4j
public class ExportExcelInterceptor implements HandlerInterceptor {
   
   

    @Autowired
    private ExportUtil exportUtil;


    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
   
   
        String requestURI = request.getRequestURI();
        if (requestURI.endsWith("/jmreport/exportAllExcelStream")) {
   
   
            // 在这里执行拦截逻辑,例如验证用户权限、记录日志等
            log.info("Intercepted request: {}" , requestURI);
            exportUtil.exportExcel(request, response, handler);
            return false;
            // 返回true表示继续处理请求,返回false表示中断请求处理
        }
        return true;
        // 对于其他请求,不进行拦截
    }
    @Override
    public void postHandle(HttpServletRequest request, HttpServletResponse response, Object handler, ModelAndView modelAndView) throws Exception {
   
   
        // 请求处理完成后的逻辑,如果需要的话
    }
    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
   
   
        // 请求完成后的逻辑,如果需要的话
    }

}

2、注入拦截器

@Configuration
public class WebConfig implements WebMvcConfigurer {
   
   
	
	@Resource
	private ExportExcelInterceptor exportExcelInterceptor;

	@Override
	public void addCorsMappings(CorsRegistry registry ){
   
   
		//
	}
	@Override
	public void addResourceHandlers(ResourceHandlerRegistry registry ){
   
   
		// 
	}
	
	@Override
	public void addInterceptors(InterceptorRegistry registry ){
   
   
		// 注入自己写的拦截器
		registry.addInterceptor(exportExcelInterceptor);
	}
 }

3、实现导出

@Component
@Slf4j
public class ExportUtil {
   
   

    @Autowired
    private e jmReportDesignService;
    @Autowired
    private JmReportBaseConfig jmBaseConfig;
    @Autowired
    private JimuReportDbDao jimuReportDbDao;

    @Autowired
    private JimuReportDao reportDao;

    @Autowired
    private IJimuReportService jimuReportService;


    public  void exportExcel(HttpServletRequest request, HttpServletResponse response, final Object handler) throws Exception{
   
   
        response.setCharacterEncoding("utf-8");
        response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");
        response.addHeader("Content-Disposition", "attachment;filename=jmexport.xlsx");
        log.info("===========exportAllExcelStream 执行导出EXCEL action ==========");
        HashMap map = new HashMap(request.getParameterMap());
        // 获取请求参数
        StringBuilder body = new StringBuilder();
        String line;
        try (BufferedReader reader = request.getReader()) {
   
   
            while ((line = reader.readLine()) != null) {
   
   
                body.append(line);
            }
        }
        JSONObject jsonObject = JSONObject.parseObject(body.toString());
        boolean isToken = map.containsKey("token");
        if (isToken) {
   
   
            map.remove("token");
        }
        String excelConfigId = jsonObject.getString("excelConfigId");
        JSONObject queryParam = jsonObject.getJSONObject("queryParam");
        Map<String, Object> resMap = this.d(excelConfigId);
        List downCodeList = (List)resMap.get("downCodeList");
        Integer var16 = this.jmBaseConfig.getPageSizeNumber();
        this.getData(response, excelConfigId, queryParam, downCodeList, var16);
    }


    public Map<String, Object> getData(HttpServletResponse response, String var1, JSONObject var2, List<String> var3,  int var5)
            throws IOException {
   
   
        HashMap var6 = new HashMap(5)
积木报表大数据量导出报错排查与优化实践 在Java报表开发中,Excel导出是最常见的功能之一。然而当数据量增大时,基于Apache POI的XSSFWorkbook模型会将每个单元格映射为内存对象,导致堆内存迅速膨胀,进而抛出OutOfMemoryError或类初始化异常。为解决这一问题,流式处理技术SXSSFWorkbook应运而生,它通过滑动窗口机制将已写出的行刷入磁盘,大幅降低内存占用,成为大数据量导出的关键技术。在实际工程中,结合分页查询与异步导出,可有效避免同步导出阻塞主业务线程。积木报表作为主流报表工具,其默认导出流程同样面临大数据 阅读详情

相关推荐

MyEMS能源管理系统技术选型:Python后端+React前端实践

企业能源管理系统需要解决多协议仪表接入、多租户数据隔离和复杂报表展示等核心问题,技术选型直接决定系统能否长期稳定运行。物联网通信场景中,Python凭借丰富的工业协议生态(如Modbus、DL/T 645)和成熟的数据分析库(pandas、scikit-learn),大幅降低采集与能耗预测的开发成本;前端则依赖React的虚拟DOM与组件化能力,支撑实时监控大屏、高频数据刷新和大量可复用页面。前后端通过REST API与WebSocket协作,构建出既敏捷又可靠的企业级能管平台。文章从业务约束出发,拆解Py

weixin_34009794的博客 466

数据科学家能力补给路线图:建模深度、MLOps鲁棒性与云原生工程实践

数据科学已从算法调参迈入端到端交付阶段。理解模型原理是基础,但真正决定项目成败的是建模认知的深度、生产环境的鲁棒性,以及云原生架构下的工程化能力。MLOps 不仅是工具链集成,更是对数据漂移监测、特征生命周期管理和模型可观测性的系统训练;Cloud Computing 也非简单上云,而是按需计算、计算靠近数据、协作式数据产品交付的新范式。本文聚焦三大高杠杆能力缺口——建模底层逻辑扎实度、工程落地稳定性、业务与技术翻译力,结合真实工业场景,解析如何将课程知识焊接到实际项目中,实现从学习到交付的闭环跃迁。

csxc65837的博客 379

易语言离线OCR模块开发:基于飞浆PaddleOCR的封装与实战

OCR(光学字符识别)技术是计算机视觉领域的关键分支,其核心原理是通过算法模型自动检测并识别图像中的文字信息。这项技术具有极高的实用价值,广泛应用于文档数字化、票据处理、自动化数据录入等场景。对于易语言开发者而言,在本地环境中集成高效、易用的OCR功能是常见的开发需求。本文聚焦于如何将前沿的飞浆PaddleOCR引擎封装为易语言模块,实现无网离线使用,并确保在Win7/Win10等不同系统下的兼容性。通过解析模块的核心架构、接口设计及参数调优,为开发者提供一套开箱即用的解决方案,有效解决了易语言生态中调用复

weixin_33984032的博客 819

Free Spire.PDF for Java 1.1.0 免费版实战:页数限制与避坑指南

在 Java 后端开发中,PDF 生成与处理是常见需求,而免费版 PDF 组件往往在功能与限制之间寻求平衡。Free Spire.PDF for Java 1.1.0 作为一款轻量级 PDF 处理库,提供了文档创建、表格绘制、合并拆分及文本抽取等能力,其核心原理基于高层 API 封装,降低了开发复杂度。然而,免费版存在页数配额限制,若未提前规划,易在批量场景中引发运行时异常。合理利用页数守卫与文档拆分策略,可有效规避风险,适用于对账单导出、报表生成等中小体量应用。

weixin_34216107的博客 302

积木报表换行bug修复的资源

积木报表换行bug修复的资源、适用于积木报表调用后端API、解决换行BUG、换页BUG的问题

从零开始掌握Python机器学习:七步教程 基础篇

前言 「开始」往往是最难的,尤其是当选择太多的时候,一个人往往很难下定决定做出选择。本教程的目的是帮助几乎没有 Python 机器学习背景的新手成长为知识渊博的实践者,而且这个过程中仅需要使用免费的材料和资源即可。 第一步:基本 Python 技能 如果我们打算利用 Python 来执行机器学习,那么对 Python 有一些基本的了解就是至关重要的。 首先,你需要安装 Python。因为我们后...

hcgx2018的博客 1618

linux和mac安装+配置circos(

一定要下载完这两个包,GD才会work,要不然会报错,且-modules显示也是fail。官网的教程说的很明白,但是很多包都已经过时了需要在网上找。一般来讲,所有包的安装都不会太困难,除了GD。1.是因为官网给的链接下出来的tgz无法解压。2.我的电脑安装后GD照样是fail的。,进入这个地址下一个.tgz。第二点的原因在于,官网的情况。,进入这个地址,按部就班。GD安装困难有以下几点。搞了一天终于配置成功。

xiufan1的博客 554

AI虚拟人物 数字人直播,不用出镜,不用露脸的直播方式(附教程 软件)

我们先来看一组数据,这是我通过蝉妈妈查到的某位虚拟主播的一个带货数据,粉丝还不到 3000 人,每次直播 1 到 4 个小时,30天的总销量达到了1200单,15天,总销售额 2 万,可能相对来说客单价还是比较低,最关键的是才直播了 6 场,如果说他能够一个月直播 20 天,每天花 4个小时去直播,当个副业来做,就可以达到最起码月入 3 万的一个收入水平,我个人觉得是非常的不错的。大家把商品图片放在背景,只要场景设置的不错,场景和产品的关联度高,直播的时候挂上购买链接也会有一定的成交。

. 7万+

CAN 比特率和采样点计算

架构根据输入频率和比特率自动计算。

ldinvicible的专栏 795

跟着团子学SAP EPPM:项目管理常见的集成场景(PPM\PS\MS Project)

在SAP的EPPM解决方案中,针对企业战略级别的投资组合管理首先是定义合适的投资组合的层级结构,在投资组合下可以通过不同维度去定义投资篮(Portofolio Bucket)进行层层拆分,在最下层级的投资篮下可以分配明细的投资项(Portofolio Item),投资项可以是独立的一个一个具体执行的项目,也可以是单纯的一次服务等等。 今天主要聚焦在投资项的维度展开讲一下在SAP中投资项常见的几种集成模式: 集成场景1:使用PPM中的Project Management进行项目管理 第一个场景是在创建投资项

Lucas1211的博客 4144

机器学习【学校智慧食堂及其应用】

本文主要介绍机器学习【智慧食堂及其应用】

qq_201729558 2582

代谢组数据分析(十九):随机森林构建代谢组预后模型

建立胃癌(GC)预后模型时,从队列3中的181名患者中,使用右删失结果数据进行了随机分层抽样,分为训练数据集(n = 121)和测试数据集(n = 60)。训练了一个包含1000棵树的随机生存森林(RSF)模型,根据它们基于排列的特征重要性来选择突出的特征。通过再次训练随机生存模型,并选取28种代谢物,建立了显示出色预测能力(AUROC = 0.832,95% CI:0.697-0.951)的最佳模型,用于预测测试数据集中GC患者的生存结果。

专注生信领域 1721

海洋捕食者算法(MPA)详解:从海洋生态智慧到高性能优化

摘要: 海洋捕食者算法(MPA)是一种基于海洋生态觅食行为的元启发式优化算法,模拟捕食者(如鲨鱼)的布朗运动和莱维飞行策略进行全局与局部搜索。算法分为三阶段:高速比阶段(全局探索)、单位速度比阶段(平衡搜索)和低速比阶段(局部开发),通过精英矩阵和FADs效应(概率扰动)避免早熟收敛。MPA具有参数少、收敛快、寻优能力强等特点,适用于复杂优化问题,其数学模型将生物行为转化为随机游走与自适应策略,并通过收敛因子动态调整探索-开发平衡。实验表明,MPA在多个基准问题上表现优异。

qq_42212808的博客 276

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

全球国家地区城市数据

MySQL全球国家地区城市数据报。。。。。。。。。。。。

上一篇: redis缓存失效问题
下一篇: java将pdf转换成word
南博萬
博客等级 码龄9年 130粉丝 67原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址