基于hadoop的轴承监测海量数据的存储与管理

《基于hadoop的轴承监测海量数据的存储与管理》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop的轴承监测海量数据的存储与管理盖相庚石家庄铁道大学信息科学与技术学院摘要：针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题，在分析监测数据特征和数据量大小的基础上，构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境，搭建了分布式集群系统存储海量监测数据，并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析，结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。关键词：Hadoop;海量数据;存储管理;滚动轴承;作者简介

2、：马新娜(1978-)，女，博士，研究方向为数据处理。收稿曰期:2017-01-09基金：国家自然科学基金项目(11372197,11227201)StorageandmanagementformassivedataofbearingdetectionbasedonHadooptechnologyMAXin—naGAIXiang-gengSchoolofInformatinScienceandTechnology，ShijiazhuangTiedaoUniversity;Abstract：Themonitoringdataofrollingbearsinhighspeedlocom

3、otivebogiepresentsavarietyofformats.Themonitoringdatavolumegrowsrapidly.Ttcausesmanagementandstorageproblems.Basedontheanalysisofthemonitoringdatacharacteristicsanddatasize，atreeindexstructureisputforwardtomanagethemassivedataofrollingbearingdetectioninhighspeedlocomotivebogie.Usingthecurrents

4、oftwareandhardwareenvironmentoftheinstitute,adistributedclustersystemisbuilttostoremassivemonitoringdata.Then,theavailabilityandstabilityofclustersysteminstoringandmanagingmassivedataarediscussed.Throughthetestandanalysisoftheactualmonitoringdata,theresultsshowthatdistributedclustertreeindexst

5、ructurecansatisfythemanagementandstoragerequirementsformassivedataofrollingmonitoring.Keyword：Hadoop;massivedata;storageandmanagement;rollingbearing;Received：2017-01-090引言滚动轴承是现代机械设备中的关键部件之一，滚动轴承的运行情况直接关系到机械系统能否正常运行（包括进度、可靠性、寿命等）m。滚动轴承通常要在高温、高速、露天等恶劣环境下运行，非常容易遭受到损坏。因此，对机械设备中的滚动轴承健康状态进行监测是十分必要的

6、m。随着电子测控技术的发展，滚动轴承状态监测信息采集系统ti益复杂。监测布线点数不断增加;监测信号类型从温度、振动到图像、视频等状态数据格式呈现多样化趋势。随着计算机技术的发展，计算性能的提升，滚动轴承状态监测已从原来的故障在线诊断技术逐步发展为在线诊断、离线分析、健康状态跟踪、故障演化分析、状态预警等研究领域［3］。这些基于智能计算的深度学习研究需要海量监测数据作为支撑［4-5］。滚动轴承健康状况监测数据正在以指数级速度增讼，而且数据结构繁杂，非结构化数据特征明显。传统单机模式的数据存储方式无法完成海量数据的存储，串行数据管理方式无法及时有效地对海量数据进行统计分析本文以高速机车

7、转向架轮对滚动轴承状态监测实验数据为例，利用机群建立分布式系统，采用树形结构构建索引，对海量监测数据进行存储和管理。1数据分析滚动轴承状态监测数据管理主耍针对两大类数据进行管理。一类数据为轴承监测管理的基础数据，具有结构清晰，数据整齐，数据量不大的特征。另一类数据为采集的滚动轴承监测信号数据，数据结构复杂，格式多样，数据量大的特点。1.1基础数据滚动轴承状态监测棊础数据主要包括滚动轴承的棊本信息，滚动轴承的故障棊础信息，滚动轴承检修记录数据等。滚动轴承的基本信息有:轴