elasticsearch性能调优小建议.doc

《elasticsearch性能调优小建议.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ElasticSearch性能测试调优版本号：5.5.2测试数据：同一天采集的数据保存在当天创建的索引下，所有索引的类型一致测试数据量：5.08亿条电脑硬件：1台，CPU8核，内存32G1.大批量创建索引和数据ES集群为单节点下的情况：A．在不采用批量创建数据的情况下：创建数据量8640万，用时16h35m47s，写入速度约为2270条/S。减少写入数据量，约87万，测试50次，写入平均速度约为2300~2500条/S。B．批量创建数据采用bluk大批量写入数据设置所需创建的内容，循环执行所需次数：写入数据量约87万条，并发数

2、量10，请求内容条数8000，测试100次，平均耗时约为：190S，写入速率约为：4500条/S。写入效率有了明显的提升，但是此时发生了异常，有约80%的测试发生ES请求链接断开的异常。当并发请求大于10时，所有请求都发生了该异常。该异常导致的问题是：最后断开请求的数量丢失，丢失数据量约为1万条。当降低并发数量或者请求内容条数时，该问题得到解决。写入数据量并发数量内容条数测试次数平均耗时写入速率状态87万5300050240S3600条/S正常87万10500050210S4300条/S正常87万108000100190S发生

3、异常4500条/S87万8800050220S4000条/S发生异常87万7800050230S3800条/S正常87万6800050235S3700条/S正常87万13500050218S4000条/S发生异常8122万8500056h41m50s3400条/S正常A．调优虽然批量添加效率有了显著提升，但是如何再继续提升性能呢？除了新增硬件和新增节点外，合理的配置线程池，可以有效的提升性能。5.x版本的ES，已经将线程池中的index和bulk固定为CPU核心数+1；所以调整这两个指标的对列数，可以解决上面测试中因为线程池线

4、程数量不足导致的请求断开的异常。但是队列数也不建议无线增大，因为这个对内存有较大的压力。一下为测试后较合理的配置：修改的文件是：elasticsearch目录下config文件夹的elasticsearch.yml文件调优后，可以支持多线程同时启动bulk添加数据，而不会因为线程池的问题导致写入数据丢失问题，让磁盘的读写达到最大化，从而实现对大化的写入数据。优化后，写入效率：4500条/S，测试可同时启动5个线程。因为个人电脑性能原因，没有继续测试。A．其他新增数据节点：将新增的数据节点设置为专门存储和查询数据的数据节点，这些

5、节点能有效的提升写入和查询效率。node.master:falsenode.data:true node.ingest:false减少shard刷新间隔：完成bulk插入后再修改为初始值