温涛-Ceph性能调优实践.pdf

《温涛-Ceph性能调优实践.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、目录1、调优前分析2、硬件配置及组网3、软件配置及测试工具4、优化点5、优化结果1调优前分析根据业务类型迚行分析•分析业务是偏向于容量还是性能，分析对数据安全性，可靠性的需求。•分析业务IO类型，是吞吐要求较高还是IOPS要求较高。•分析业务是多点访问存储还是单点访问，是否对单点突发性能有较高要求。•分析业务是否需要扩展，规划crushmap，减少在扩展时的数据迁移。本次性能优化只针对单点4KB随机写2硬件配置及测试组网每个主机的硬件配置CPU：2*Intel(R)Xeon(R)CPUE5-2620v2@2.10GHz6/6cores;12threadsMemory：48GBDisk：1*

2、SSD800GBRandomWrites58,000IOP/sSASasjournal6*HDD15k300GBSASasdata1*HDD10k300GBSATAassystemdiskNIC:2*10000M/sRAID:P420i2GB90%write/10%read3软件配置及测试工具OS：使用fio+librbd方式，在单节点迚行压力测试Ubuntu14.04.3使用vmstat，iostat等工具监控cpu和disk[global]Kernel3.19.0-32-genericioengine=rbdclientname=adminpool=testCeph：rbdname=t

3、tttrw=randwritemasterbs=4k7f627e04c8c939a1ddb8f01f74b9e7043ba54e42runtime=120numjobs=12被测试rbd块大小为100GB，3副本direct=1关闭rbdcachesync=1group_reportingthreadiodepth=644CPU&Memory优化关闭NUMA并且设置vm.swappiness为0默认状态：NUMA=ON，vm.swappiness=40优化方法：NUMA=OFF，vm.swappiness=0修改/boot/grub/grub.cfglinux/boot/vmlinuz-3

4、.19.0-32-genericroot=UUID=7549f98c-9668-4407-9b06-1265e4359866ronuma=off修改/etc/sysctl.confvm.swappiness=0理论分析：Ceph对内存使用较多，优化后可以更充分的利用内存测试结果：关闭NUMA性能略下降，可能是因为Memory充足的原因。5文件系统优化XFS的mount参数优化默认参数：rw,noatime,inode64优化参数：logbsize=256k,nobarrier理论分析：增加logbsize可以减少xfsjournalio次数，nobarrier对于有掉电保护的RAID无用测

5、试结果：几乎没有什么用处XFSFAQ也引用了这句话：Prematureoptimizationistherootofallevil.-DonaldKnuth6Ceph优化之LOG关闭LOG可以提升4KB随机写约20%的性能Ceph中LOG级别：debugms=0/5，0表示低于此级别的日志将输出到日志文件5表示低于此级别的日志将暂存在内存（默认10000条），在使用命令或者assert时输出到日志文件Ceph中LOG存在问题：正常运行时暂存在内存的日志主要有两类，Messenger收发报文时日志，写PGLog时的日志。对于性能要求较高场景，可以关闭这两类日志，简单方法是设置debugms=

6、0，debugosd=0。但是为了在出问题时尽量保留足够的日志，建议修改源码中的日志级别（参考备注）。7Ceph优化之MSG使用AsyncMessenger可以提升4KB随机写约8%的性能测试结果：AsyncMessenger可以显著减少线程个数，降低上下文切换损耗配置方法：enable_experimental_unrecoverable_data_corrupting_features=ms-type-asyncms_type=asyncms_async_op_threads=2#2为默认值，在当前测试环境比较OK，调整为4或6没有明显性能提升8Ceph优化之ShardedOpWQCe

7、ph读写操作通过ShardedOpWQ完成，默认有5个Shard,每个Shard中有2个线程每个PG被映射到一个Shard（每个Shard有个order_lock）理论分析：提高Shard可以提高并发度，提高线程个数可以提高深度osd_op_num_threads_per_shard=4#默认2osd_op_num_shards=6#默认5，4*6为当前测试环境的CPU线程数测试结果：略有提升9Ceph优化之WBThro