基于工作流的科学数据分析系统.pdf

《基于工作流的科学数据分析系统.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、软件与算法SoftwareandAlgorithms*基于工作流的科学数据分析系统李宏源1，21，21，2，陈梅，李晖（1.贵州大学计算机科学与技术学院，贵州贵阳550025；2.贵州省先进计算与医疗信息服务工程实验室，贵州贵阳550025）摘要：随着科技的发展，科学领域的研究人员在观察和实验中产生的数据规模越来越大，科学分析任务也愈加复杂。新型的阵列数据库和工作流技术逐渐被应用到大规模科学数据的管理和分析中。结合阵列数据库系统SciDB，研究并实现了一种基于工作流的科学数据分析系统，用于满足基于大规模数据的复杂科学数据分析需求。关键词：SciDB；工作流；科学工作流；科学数据分析；科

2、学大数据中图分类号：TP319文献标识码：A文章编号：1674-7720（2015）10-0016-04Workflow-basedscientificdataanalysissystem1，21，21，2LiHongyuan，ChenMei，LiHui(1.CollegeofComputerScienceandTechnology，GuizhouUniversity，Guiyang550025，China；2.GuizhouEngineeringLaboratoryforAdvancedComputingandMedicalInformationServices，Guiyang550

3、025，China）Abstract：Withthedevelopmentofscientifictechnology，thedatageneratedduringscientificobservationsandexperimentsbecomeshuge.Inordertofacilitatethemassivescientificdatamanagementandanalysis，arraydatabasesystemandworkflowareoftencombinedincorrespondingareas.Inthispaper，westudythecriticalissu

4、esandfocusondescribinghowtodesignthescientificdataanalysissystembycombiningarraydatabasesystemSciDBwithworkflowtechniques.Keywords：SciDB；workflow；scientificworkflow；scientificdataanalysis；bigdata0引言于提高科研人员的工作效率具有显著的作用。同时，科近年来，随着科学观测工具和科学实验操作仪器的学过程产生的是数据，其运行的过程本身是由数据驱动不断改进以及科学观测手段的不断进步，很多科学研究的，对于

5、科学领域学者来说，数据是最重要的，科学数据领域，尤其是一些基础学科领域，例如高能物理学、生物是数据密集型的。信息学、大气科学、天文学等，在实验过程中和实验后产采用工作流技术可以将复杂查询进行拆分，实现查生的可以用来分析的实验数据越来越多，其数据量越来询的可视化和动态修改，使得科学分析服务简单、易上越大；同时，科学过程也越来越完善，这意味着它变得越手。但是由于科学分析其以数据作为驱动的特点，目前来越复杂，包含在其中的科学计算过程往往由成千上万不能将传统的工作流系统，即目前应用在企业领域的个步骤构成。综上，目前的科学分析甚至是一个简单的BPM（BusinessProcessManageme

6、nt），例如JBPM和Activi鄄科学实验都需要对TB甚至PB量级的数据进行分析查ti直接应用于科学领域，因而采用科学工作流系统。询，才能够对整个科学工程进行进一步的分析，从而找在国外，Kepler科学工作流系作为一种科学分析的出规律，得出结论。因而，将大数据查询的处理方法应用手段，已经开始应用于医学数据分析领域和环境监测数到科学大数据，并将其做成一种简单、易上手的服务，对据分析领域，但是Kepler本身只是一个工作流执行引擎，其所分析的科学过程中的每一个步骤经常采用*基金项目：国家自然科学基金（61462012）；贵州省应用基础研究重大项Hadoop作为分析的工具，而Hadoop执

7、行科学分析的效目子课题(黔科合JZ字[2014]2001-05）；贵州大学研究生创新基金（研理工2014010）率不高，尤其在其所分析的科学数据的维度较大的情况16《微型机与应用》2015年第34卷第10期软件与算法SoftwareandAlgorithms下。同时，以SciDB作为科学分析工具的查询服务在国SciDB1外目前还处于起步阶段。针对于Kepler，其所提供的可PG数据库SciDB…视化编辑是在软件界面上实现的，将之应用于网页形式还