ElasticSearch 7.x 版本使用 BulkProcessor 实现批量添加数据

Java使用BulkProcessor批量写elasticsearch pre 业务需求,探索的时候踩了坑,记录下来以备查阅,工作之余时间不多,简单记录问题和解决方案,后续有精力再补全 background bulk是es的批量写的命令,bulkprocessor是官方对于bulk操作的进一步封装,可以控制单次批处理的数据量,以防单次数据量过多引起的连接错误 踩过的坑 找不到bulkprocessor 在网上找不到类所在的jar包,后续确认通过maven管理依赖,添... 阅读详情
AI摘要

本文详细介绍了ElasticSearch的基础操作、JavaAPI使用、SpringBootStarter集成,重点探讨了BulkProcessor在批量数据索引中的性能优势与挑战,包括内存消耗、错误处理和延迟响应,以及在实际项目中的应用示例。

ElasticSearch

1、ElasticSearch学习随笔之基础介绍
2、ElasticSearch学习随笔之简单操作
3、ElasticSearch学习随笔之java api 操作
4、ElasticSearch学习随笔之SpringBoot Starter 操作
5、ElasticSearch学习随笔之嵌套操作
6、ElasticSearch学习随笔之分词算法
7、ElasticSearch学习随笔之高级检索
8、ELK技术栈介绍
9、Logstash部署与使用
10、ElasticSearch 7.x 版本使用 BulkProcessor 实现批量添加数据
11、ElasticSearch 8.x 弃用了 High Level REST Client,移除了 Java Transport Client,推荐使用 Elasticsearch Java API
12、ElasticSearch 8.x 使用 snapshot(快照)进行数据迁移
13、ElasticSearch 8.x 版本如何使用 SearchRequestBuilder 检索
14、ElasticSearch 8.x 使用 High Level Client 以 HTTPS 方式链接,SSL 证书、主机名验证器 各是什么,如何忽略
15、ElasticSearch 8.x 创建父子文档,用Join类型字段以及用has_child、has_parent 检索
16、ElasticSearch如何提高写入效率【面试题,面道既学到】

ElasticSearch,创始人 Shay Banon(谢巴农)



前言

本文主要应用 Rest High Level Client 来进行对 ElasticSearch 进行操作,虽说官方已经不推荐,但是 ES 升级带来的代价也是相当大的,所以,此处略去一万字。

  • 那什么是 BulkProcessor 呢?
    BulkProcessor 是 ElasticSearch 客户端中的一个功能,用于批量执行索引、更新或删除操作,BulkProcessor 运行将多个操作打包成一个请求进行发送,以提高效率和性能。

批量操作索引的好处:

  • 性能优势:将多个操作打包成一个请求,这样可以减少网络开销,提高数据传输效率,从而可以加快数据写入索引速度。
  • 减少开销:较少的网络开销和较少的服务器的交互,减少服务器开销,尤其是大规模写入数据时。
  • 原子性:批量操作可以保证一组操作要么全部成功,要么全部失败,报错数据的一致性。
  • 减少开发成本:批量操作,可以简化客户端代码,减少请求和管理连接的操作。

当然,批量操作也是有缺点的:

  • 内存消耗:在执行批量操作时,首先会将数据写入内存,这样会消耗更多的内存。
  • 错误处理复杂性:单条数据上传,如果出错可以重试或者进行记录操作等,但是批量操作中的某个请求失败,需要额外来处理,比单条操作复杂。
  • 延迟响应:批量操作可能导致请求排队等待,会产生一些延迟。

多余的不说,来上代码。

一:引入 pom

首先引入客户端依赖,我的测试 ES 服务是 8.7.0 版本的,这里对应 High Level REST Client 客户端 7.3.2 版本的。

<dependency>
    <groupId>org.elasticsearch.client</groupId>
    <artifactId>elasticsearch-rest-high-level-client</artifactId>
    <version>7.3.2</version>
</dependency>

之所以不用更高版本,是因为版本高了会报如下错误:

java.io.IOException: Unable to parse response body for Response{requestLine=POST /devintcompany@1562219164186/_doc?timeout=1m HTTP/1.1, host=http://192.168.*。*:9200, response=HTTP/1.1 201 Created}
	at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1473)
	at org.elasticsearch.client.RestHighLevelClient.performRequest(RestHighLevelClient.java:1424)
	at org.elasticsearch.client.RestHighLevelClient.performRequestAndParseEntity(RestHighLevelClient.java:1394)
	at org.elasticsearch.client.RestHighLevelClient.index(RestHighLevelClient.java:836)
	at com.example.es.EsTest.addIndex(EsTest.java:97)
	at com.example.es.EsTest.main(EsTest.java:36)
Caused by: java.lang.NullPointerException
	at java.util.Objects.requireNonNull(Objects.java:203)
	at org.elasticsearch.action.DocWriteResponse.<init>(DocWriteResponse.java:127)
	at org.elasticsearch.action.index.IndexResponse.<init>(IndexResponse.java:50)
	at org.elasticsearch.action.index.IndexResponse.<init>(IndexResponse.java:39)
	at org.elasticsearch.action.index.IndexResponse$Builder.build(IndexResponse.java:103)
	at org.elasticsearch.action.index.IndexResponse.fromXContent(IndexResponse.java:85)
	at org.elasticsearch.client.RestHighLevelClient.parseEntity(RestHighLevelClient.java:1727)
	at org.elasticsearch.client.RestHighLevelClient.lambda$performRequestAndParseEntity$8(RestHighLevelClient.java:1395)
	at org.elasticsearch.client.RestHighLevelClient.internalPerformRequest(RestHighLevelClient.java:1471)
	... 5 more

亲自测试过的,应该还是版本不兼容的缘故,但是数据已经插入到 Index 了,就很奇怪。

二:创建 ES Client

这里初始化客户端,需要用户名密码进行认证的。

private static RestHighLevelClient createClient(){
    String hostname = "192.168.*.*";
    int port = 9200;
    final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
    credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("your username", "your password"));
    RestClientBuilder restClientBuilder = RestClient.builder(new HttpHost(hostname, port))
            .setHttpClientConfigCallback(httpAsyncClientBuilder -> httpAsyncClientBuilder.setDefaultCredentialsProvider(credentialsProvider));
    return new RestHighLevelClient(restClientBuilder);
}

三:创建 BulkProcessor

这里创建 BulkProcessor 批量操作对象,通过 High Level REST Client 来绑定,加入监听器 BulkProcessor.Listener,如果批量操作失败或发生异常,在 afterBulk() 方法中处理。
批量处理需要设置的参数代码中已有注释,一般就设置这些参数就可以了,可根据自己的使用场景进行调节。

public static BulkProcessor getBulkProcessor(RestHighLevelClient client) {
    BulkProcessor.Listener listener = new BulkProcessor.Listener() {
        @Override
        public void beforeBulk(long executionId, BulkRequest request) {
            System.out.println("开始执行批量操作,ID: " + executionId);
        }

        @Override
        public void afterBulk(long executionId, BulkRequest request, BulkResponse response) {
            if (response.hasFailures()) {
                System.out.println("批量操作完成,ID: " + executionId);
            }
        }

        @Override
        public void afterBulk(long executionId, BulkRequest request, Throwable failure) {
            System.out.println("批量操作失败,ID: " + executionId);
            failure.printStackTrace();
        }
    };
    BulkProcessor.Builder builder = BulkProcessor.builder(((bulkRequest, bulkResponseActionListener) -> {
        bulkRequest.setRefreshPolicy(WriteRequest.RefreshPolicy.IMMEDIATE);
        bulkRequest.timeout(TimeValue.timeValueSeconds(100));
        client.bulkAsync(bulkRequest, RequestOptions.DEFAULT, bulkResponseActionListener);
    }), listener);
    // 当达到1000个操作时触发批量请求
    builder.setBulkActions(1000);
    // 当达到5MB大小时触发批量请求
    builder.setBulkSize(new ByteSizeValue(1, ByteSizeUnit.MB));
    // 每5秒触发一次批量请求,无论大小和操作数如何
    builder.setFlushInterval(TimeValue.timeValueSeconds(5));
    // 设置退避策略,以防服务器过载或拒绝请求
    // 第一个参数:等待多长时间再次尝试  第二个参数是重试次数
    builder.setBackoffPolicy(BackoffPolicy.exponentialBackoff(TimeValue.timeValueMillis(1000), 3));
    // 设置并发请求的数量为1,即同时只有一个批量请求在执行
    builder.setConcurrentRequests(1);
    return builder.build();
}

注: 如果再数据量大推送时间长的情况下,最好 setConcurrentRequests 不要太多,多了有可能写入失败不好找到缺失的数据,BackoffPolicy 及时等待时间稍微长一点,重试 3 次,要不然容易推送失败而导致不能保证数据一致性。
以上仅仅是建议,具体情况具体配置!

四:批量推数据

我们在 main 方法中进行测试,代码如下:

public static void main(String[] args) throws IOException {
    RestHighLevelClient client = createClient();
    BulkProcessor bulkProcessor = getBulkProcessor(client);
    for (int i = 0; i < 10; i++) {
        String source = "{\"ApplianceType\":[{\"ApplianceTypeCn\":\"国产\",\"ApplianceTypeEn\":\"Domestic\",\"ApplianceTypeId\":\"1\"}],\"ApplicationCount\":0,\"ClassICount\":17,\"ClassIICount\":1,\"ClassIIICount\":0,\"Classification\":[{\"Cn\":\"2002版分类\",\"En\":\"2002 reg. category of relevant app.\",\"Id\":\"Class2002\",\"Items\":[{\"Cn\":\"Ⅰ类\",\"En\":\"Class Ⅰ\",\"Id\":\"1\",\"Id2\":\"I\",\"Items\":[{\"Cn\":\"进口第一类医疗器械(含第一类体外诊断试剂)备案信息\",\"En\":\"Information on imported ClassⅠmedical devices (including ClassⅠ IVD reagents)\",\"Id\":\"100\"}]},{\"Cn\":\"Ⅱ类\",\"En\":\"Class Ⅱ\",\"Id\":\"2\",\"Id2\":\"II\",\"Items\":[{\"Cn\":\"妇产科、辅助生殖和避孕器械\",\"En\":\"Obstetrics and gynecology, assisted reproductive and contraceptive devices\",\"Id\":\"201818\"}]}]},{\"Class1Code\":[{\"Id\":\"02\"}],\"Class2Code\":[{\"Id\":\"03\"}],\"DataType\":[{\"Id\":\"1\"},{\"Id\":\"3\"}],\"ProductClassificationCode\":[{\"Id\":\"09\"}],\"ProductClassificationNameCode\":[]}],\"Company\":{\"Cn\":\"海南创鑫医药科技发展有限公司\",\"En\":\"Hainan Chuangxin Pharmaceutical Technology Development Co. Ltd.\",\"Id\":\"1000002388\"},\"CompanyAliasCn\":[\"海南创鑫医药科技发展有限公司\"],\"CompanyAliasEn\":[\"Hainan Chuangxin Pharmaceutical Technology Development Co. Ltd.\"],\"CompanyCn\":\"海南创鑫医药科技发展有限公司\",\"CompanyCnSearch\":\"海南创鑫医药科技发展有限公司\",\"CompanyEn\":\"Hainan Chuangxin Pharmaceutical Technology Development Co. Ltd.\",\"CompanyEnSearch\":\"Hainan Chuangxin Pharmaceutical Technology Development Co. Ltd.\",\"CompanyId\":\"1000002388\",\"CompanyType\":{\"Cn\":\"国内公司\",\"En\":\"Domestic company\",\"Id\":\"Domestic company\"},\"CompanyTypeCn\":\"国内公司\",\"CompanyTypeEn\":\"Domestic company\",\"CompanyTypeId\":\"Domestic company\",\"DomesticCount\":18,\"EffectiveRegistrationCount\":18,\"FirstApplicationYear\":null,\"FirstRegistrationYear\":\"2017\",\"IVD\":\"0\",\"ImportCount\":0,\"LatestApplicationYear\":null,\"LatestRegistrationYear\":\"2020\",\"Listing\":{\"Cn\":null,\"En\":null,\"Id\":null},\"ListingCn\":null,\"ListingEn\":null,\"ListingId\":null,\"TotalCount\":18,\"company_registration_relation\":{\"name\":\"company\"},\"website_url\":\"\"}";
        bulkProcessor.add(new IndexRequest("devintcompany@1562219164186").source(source, XContentType.JSON));
        System.out.println("添加第 " + i + "条数据!");
    }
    try {
        bulkProcessor.awaitClose(10, TimeUnit.MINUTES);
        client.close();
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    System.out.println("添加完成!");
}
批量插入千万数据到Elasticsearch之bulkProcessor 2.遇到的问题连接超时和io问题,这是因为发起的线程太多了上面我设置了10个线程,一个线程5000的数据,.setBulkActions(5000) .setConcurrentRequests(10) 因为线程太多导致有一个线程不成功的话就会导致缺少数据,后面解决把.setBulkActions(2000) .setConcurrentRequests(1)就成功导入1000万数据成功了。关闭,加在flush的后面一行。 阅读详情

相关推荐

ElasticSearch从入门到精通:数据导入

我是Jackpop,我们交个朋友吧!在第二部分中,我们学习了如何在ElasticSearch中执行搜索。但是,我们无法使用其批量API将.json数据文件导入ElasticSearch。在这部分中,我们将进行一些编程,并学习一些有关如何将.json飞行数据文件导入ElasticSearch的方法:ElasticSearch对数据格式有特定的格式要求: 这就意味着,你需要把下载的每一份json数据按照上述格式进行转换。主要满足如下2点:我们可以通过编写简单的Java程序,快速把json文件转换成对应格式: 最

jakpopc的博客 3109

ES 客户端BulkProcessor代码解析-代码设计是什么?

优秀的代码设计是的产品高效、健壮和强扩展性。核心和变动点分开简洁而不简单的使用方式, 大家可以思考一下设计流行的做减法代表着什么?深入灵活的结构抽象。

dreamsofa的专栏 660

ES的BulkProcessor实现批量写入

这是读取的文件 0,联想(Lenovo)拯救者Y7000P英特尔酷睿i7 15.6英寸游戏笔记本电脑(8核i7-10875H 16G 512G RTX2060 144Hz)灰,https://item.jd.com/100013950500.html,7299.0,联想京东自营旗舰店,200000,电脑,1000 0,联想ThinkPad E15 2021款 酷睿版 英特尔酷睿i5/i7 轻薄笔记本电脑 人脸识别 i5-1135G7 16G 512G 1SCD,https://item.jd.com/100

qq_43662627的博客 1626

Elasticsearch-BulkProcessor浅析

Elasticsearch-BulkProcessor浅析 1 概述 可参考Elasticsearch Bulk Processor BulkProcessor提供了一个简单的接口来实现批量提交请求(多种请求,如IndexRequest,DeleteRequest),且可根据请求数量、大小或固定频率进行flush提交。flush方式可选同步或异步。以下是一个官方例子 import org.elas...

迷路剑客个人博客 1万+

SpringBoot整合Elasticsearch 添加数据 以及相关查询

SpringBoot整合Es

qq_44605317的博客 6698

【深度学习3】ubuntu22.04从零开始搭建深度学习环境

ubuntu22.04从零开始搭建深度学习开发环境

weixin_43387635的博客 1万+

Java 中间件:Elasticsearch 批量操作(BulkProcessor 优化性能)

通过本文,我们深入探讨了 Elasticsearch 批量操作的核心工具——(即新版本的 BulkProcessor)。它不仅是性能优化的关键,更是构建健壮数据管道的基石。在数据驱动的时代,高效、可靠地将数据写入 Elasticsearch 是每个 Java 开发者必须掌握的技能。作为官方推荐的批量操作工具,以其简洁的 API 和强大的功能,帮助我们轻松应对海量数据写入挑战。性能优化不是一蹴而就的,而是通过合理设计、持续监控和不断调优实现的。

千淘万漉虽辛苦,吹尽狂沙始到金 2万+

SAP S/4HANA Fiori权限配置全解析

权限管理是企业级应用的核心功能,尤其在SAP S/4HANA这样的ERP系统中更为关键。Fiori作为SAP的现代化用户界面,其权限配置采用了分层设计理念,通过Catalog、Group、Target Mapping等组件实现业务需求与技术实现的解耦。这种架构既保证了业务部门可以灵活定义角色,又确保IT团队能精准控制权限。在实际应用中,Target Mapping作为连接业务语义与技术实现的关键桥梁,需要特别注意Semantic Object与Fiori应用清单的一致性配置。对于汽车、金融等行业客户,还需处

weixin_26767391的博客 149

Elasticsearch-BulkProcessor-死锁分析

Elasticsearch-BulkProcessor-死锁分析 摘要 本文基于ES 6.4.3。主要分析由于在使用BulkProcessor向ES集群提交数据而集群响应异常时,导致的BulkProcessor死锁,而无法继续向BulkProcessor提交新数据,导致整个处理流程卡死的问题。 关于BulkProcessor原理可参考Elasticsearch-BulkProcessor浅析 关于Java线程状态原理可参考Java-多线程-线程状态 1 问题概述 我们程序流程是: 从Kafka消费数据

迷路剑客个人博客 4106

用PyTorch手把手搭建液态神经网络(LNN):从微分方程到无人机避障实战

本文详细介绍了如何使用PyTorch搭建液态神经网络(LNN),从微分方程基础到无人机避障实战应用。LNN通过动态时序建模和微分方程实现高效计算,特别适合多传感器数据融合场景。文章包含完整的代码实现、训练技巧及性能优化方案,帮助开发者快速掌握这一前沿技术。

uber9的博客 445

【python数据处理】python实现vlookup字符串模糊匹配及在实战中的应用(FuzzyWuzzy库)

利用FuzzyWuzzy库匹配字符串1. 背景前言2. FuzzyWuzzy库介绍2.1 安装2.1 fuzz模块2.1.1 简单匹配(Ratio)2.1.2 非完全匹配(Partial Ratio)2.1.3 忽略顺序匹配(Token Sort Ratio)2.1.4 去重子集匹配(Token Set Ratio)2.2 process模块2.2.1 extract提取多条数据2.2.2 extractOne提取一条数据3. pandas实战应用3.1 公司名称字段模糊匹配3.1.1 参数讲解:3.1.2

lys_828的博客 8326

es BulkProcessor踩坑记录:es索引模板生成索引分区不正确

BulkProcessor 是 Elasticsearch 的一个高级客户端 API,它允许您在一次批量操作中执行大量的索引、更新和删除请求。索引模板分区结果为什么会不正确?本文给你答案

子涵先生 1090

鱼鹰优化算法(OOA)详解:从猛禽捕食智能到优化算法实现

鱼鹰优化算法(Osprey Optimization Algorithm, OOA)是2023年提出的一种新型元启发式优化算法,灵感来源于鱼鹰(一种中型猛禽)高效的捕食策略。算法模拟了鱼鹰从空中识别水下鱼类位置并俯冲捕食,然后将捕获的鱼带至安全位置享用的全过程,以此抽象出全局探索和局部开发两个核心阶段。OOA算法具有参数少、结构简单、收敛速度快、全局寻优能力强等特点。自提出以来,已在函数优化、机器学习参数调优(如CatBoost模型)、路径规划等多个领域展现出良好性能,为解决复杂优化问题提供了新的有效工具。

qq_42212808的博客 276

Elasticsearch BulkProcessor调优实战:从单条写入到每秒2万条

在大数据量同步场景中,如何高效地将海量数据写入Elasticsearch是开发者常遇到的挑战。单条写入的请求开销、序列化开销和线程切换导致吞吐瓶颈,集群CPU飙升。BulkProcessor作为官方提供的批量处理组件,通过缓冲削峰和批量合并,将可控延迟转化为极高吞吐,成为提升ES写入性能的关键技术。本文从版本选型、依赖冲突、初始化等基础环境出发,详细解析bulkActions、bulkSize、flushInterval、concurrentRequests等核心参数的作用与调优方法,并结合生产事故案例,剖

weixin_29064103的博客 194

ABAP 里解构引用操作符 ->* 的使用方法详解

解除引用操作符->*可用于将“类型为REF TO …的引用变量”的值(即该引用所指向内存)取出,从而访问其实际值或内部组件。具体地,若dref是一个“引用变量”,则表达式dref->*代表对该引用进行“解除引用”,使得程序按静态类型将其视为实际类型的值对象。例如,若lr类型声明为,则lr->*表示“将 lr 引用的INT4对象看作INT4类型并访问其值”。注:若 “数据引用变量” 的静态类型是通用类型DATA,则只能在这种上下文中使用->*。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 485

42、Windows Server Update Services(WSUS)全面指南

本文全面介绍了Windows Server Update Services(WSUS)的安装、配置、管理与优化策略。内容涵盖WSUS基础认知、客户端更新问题解决、多服务器架构设计、计算机分组策略、更新审批与报告查看,并深入探讨了SSL加密配置、性能优化、与其他系统(如AD和SCCM)集成以及常见故障排查方法。通过本指南,IT管理员可高效部署和管理企业级软件更新,提升安全性和运维效率。

cicd6pipeline的博客 102

Flink Elasticsearch Connector 从 0 到 1 搭一个高吞吐、可容错的 ES Sink

Flink 2.2版本目前尚未提供Elasticsearch连接器依赖,建议使用稳定版本如1.20/2.0。配置ES Sink时需根据ES版本选择6.x或7.x连接器,核心是通过BulkProcessor实现批量写入。启用checkpoint可保证at-least-once语义,配合deterministic id和upsert可实现类exactly-once效果。关键参数包括flush策略(maxActions/maxSize/interval)和backoff重试机制。注意PyFlink需额外加载JAR

hello.reader 1087

从 Claude Code 到 SAP ADT,vibing-steampunk 把 ABAP 开发带进 Agentic 工程现场

vibing-steampunk(vsp)是一个连接SAP ADT API与AI编码代理的桥梁工具,通过MCP协议实现ABAP开发的自动化。它绕开传统GUI脚本方式,直接利用ADT REST API进行代码读写、调试和部署。该工具提供包分析、边界检查、LUW分析等功能,并创新性地采用Hyperfocused模式和方法级编辑来优化token使用效率。通过上下文压缩技术,vsp能智能提取关键代码片段,显著提升AI处理ABAP代码的精准度,为SAP系统现代化改造提供了高效的技术路径。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 198

Elasticsearch使用BulkProcessor批量插入

https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-document-bulk.html  

weixin_34244102的博客 1435

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

SpringBoot集成Elasticsearch 7.x实战与优化

Elasticsearch作为分布式搜索分析引擎,通过倒排索引实现高性能全文检索,其核心原理包括分片机制、近实时搜索和RESTful API。在Java生态中,Spring Data Elasticsearch模块通过Repository抽象简化了ES操作,支持方法名推导查询和原生DSL混合编程。技术价值体现在处理海量数据时的水平扩展能力,特别适合日志分析、商品检索等需要复杂聚合和实时响应的场景。本文以SpringBoot集成ES7为例,详解版本兼容性配置、批量写入优化等工程实践,其中BulkProcess

weixin_32745665的博客 267

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

java+elasticsearch批量导入数据

废话不多说 直接上代码 BulkProcessor bulkProcessor = BulkProcessor.builder( client, new BulkProcessor.Listener() { public void beforeBulk(long executionId,

学习记录 8179

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

es 插入很慢_ElasticSearch插入性能优化

一、问题分析最近公司的es插入/更新性能大幅度下降,单日数据(70w)刷入从原来10min+,变成了现在的解决3h。插入效率从1k-2k条/s,到现在100-200条/s。总结了下问题的原因,有以下几点:堆内存不足segment数量过多导致内存吃紧业务线程阻塞在BulkProcessor对象二、问题优化方案1、堆内存不足问题如下图可看出,堆内存已经非常吃紧。Index Memory/segment...

weixin_39680380的博客 7986

ElasticSearch - 批量更新bulk死锁问题排查

一、问题系统介绍监听商品变更MQ消息,查询商品最新的信息,调用BulkProcessor批量更新ES集群中的商品字段信息;由于商品数据非常多,所以将商品数据存储到ES集群上,整个ES集群共划分了256个分片,并根据商品的三级类目ID进行分片路由。比如一个SKU的商品名称发生变化,我们就会收到这个SKU的变更MQ消息,然后再去查询商品接口,将商品的最新名称查询回来,再根据这个SKU的三级分类ID进行...

京东科技开发者 656

ElasticSearch - 批量更新bulk死锁问题排查 | 京东云技术团队

由于商品变更MQ消息量巨大,为了提升更新ES的性能,防止出现MQ消息积压问题,所以本系统使用了BulkProcessor进行批量异步更新。

JDDTechTalk的博客 2129

Flink 写入 Elasticsearch 实战:从 Demo 到生产级深度解析

本文介绍了Flink与Elasticsearch(ES)集成的完整流程,从基础示例到生产级实现。主要内容包括: 核心实现:通过ElasticsearchSinkFunction将Flink数据转换为ES请求,利用BulkProcessor实现异步批量写入,并与Flink的checkpoint机制集成保证数据一致性。 生产优化: 动态索引生成(如按时间分片) 自定义序列化(JSON/二进制) 性能调优参数(批量大小、重试策略等) 版本适配:针对ES 6.x/7.x/8.x不同版本的连接器选择和新API使用。

渣渣盟的博客 370

Spring Boot 3.x与Elasticsearch 8.x企业级集成实战

Elasticsearch作为分布式搜索与分析引擎,通过倒排索引实现高效全文检索,其近实时(NRT)特性使其成为日志分析的首选方案。Spring Data Elasticsearch通过Repository抽象简化了ES操作,结合RestHighLevelClient可实现细粒度控制。在企业级应用中,安全配置与性能优化尤为关键,Elasticsearch 8.x默认启用TLS加密和认证,配合Spring Security可构建端到端安全体系。日志类场景推荐使用ILM策略自动管理索引生命周期,结合BulkPr

weixin_30613727的博客 307
上一篇: SpringBoot+FastJson 优雅的过滤 Response Body
下一篇: ElasticSearch 8.x 弃用了 High Level REST Client,移除了 Java Transport Client,推荐使用 Elasticsearch Java API
YPhen
博客等级 码龄12年 470粉丝 88原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值
⌂ 换网址