浅论化工工艺数据挖掘中数据预处理技术的研究与应用

《浅论化工工艺数据挖掘中数据预处理技术的研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、申请上海交通大学硕士学位论文化工工艺数据挖掘中数据预处理技术的研究与应用学校：上海交通大学专业：控制理论与控制工程班级：B0703291学号：1070329051硕士生：陈鑫导师：赵霞副教授上海交通大学电子信息与电气工程学院2010年1月Master’sDegreeDissertationSubmittedtoShanghaiJiaoTongUniversityRESEARCHANDAPPLICATIONOFDATAPRE-PROCESSINGINCHEMICALDATAMININGUniversity

2、:ShanghaiJiaoTongUniversitySpecialty:ControlTheoryandControlEngineeringAuthor:ChenXinAdvisor:Prof.ZhaoXiaSchoolofElectronicsandElectricEngineeringShanghaiJiaoTongUniversityJanuary,2010化工工艺数据挖掘中数据预处理技术的研究与应用摘要对于流程工业来说，工艺过程比较复杂。由于跟实时数据和关系数据关联的生产状况在不断地变化着，工

3、艺技术人员需要应用各种MES工具对实时数据库和关系数据库中的大量数据信息进行性能参数计算和工况剖析，以指导运行时工况的调整。而实时数据的准确性是运行各种数据挖掘工具的前提和基础，实时数据采集的正确与否直接影响在线计算的结果。由于化工工艺仪表经常需要工作在高温、振动、腐蚀等恶劣环境下，这就使得仪表容易发生故障，导致数据采集系统采集到错误的数据；此外，测量数据还可能受到干扰、漂移和测量环境的影响，从而使测量得到的实时数据不准确。错误的测量数据往往会造成严重的后果。本文正是在这样的背景下，结合某国有大型化工厂

4、实际情况，对化工工艺实时数据进行了深入研究，探索各类实时数据数据预处理方法，获得一种基于支持向量机回归的混合预处理算法。用研究所得方法对数据挖掘系统使用的实时数据进行预处理，可以有效降低数据采集噪声，并实现对错误数据的校正和缺失数据的填补，提高了实时数据的质量。结合该算法，本文采用.NET开发工具，基于VS2005开发平台，应用了ADO技术，XML技术，MatlabCOM组件技术等，以OSI公-I-司的PI实时数据库和Microsoft公司的SQLServer关系数据库为底层数据来源，开发出了实时数据预

5、处理系统。该系统在采集存储实时数据的同时，应用研究所得算法，按设定周期实现对实时数据的预处理，并对故障采样点给与标识。最终将该实时数据预处理系统集成应用于数据挖掘系统和其他与实时数据关联的信息集成系统之中。基于流程工业MES的实时数据预处理系统有效改善了实时数据的质量，为化工工艺数据挖掘和其它应用实时数据的分析系统提供了支撑。它提高了项目实施企业的生产监控水平和现代化决策水平，充分发挥了企业资源管理系统和企业执行制造系统功效。关键词：流程工业，执行制造系统，数据挖掘，数据预处理，支持向量机RESEARC

6、HANDAPPLICATIONOFREAL-TIMEDATAPRE-PROCESSINGINCHEMICALDATAMININGABSTRACTInprocessindustry,thetechnicsprocessesareverycomplex.Astheproductionstatusesthatassociatewithreal-timedataandrelationaldataareintheconstantlychanging,sothechemicalengineersneedtoolsb

7、asedonMESforreal-timedatabaseandrelationaldatabasedatamining,parameterscomputingandconditionsanalyzinginordertoguidetheadjustmentofoperatingconditions.While,runningreal-timedataisthebasistorundataminingtools.Thedataminingresultsarebasedontheaccuratemeasu

8、rementofparametersrequired,thecorrectionofdataon-linecollectiondirectlyaffecttheresultsofdataminingsystem.Thechemicalprocessinstrumentspronetomalfunctionastheyoftenneedtoworkinhightemperatures,vibration,corrosionandotherha