资源描述：
《数据流和数据流管理系统课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、内容简介数据流和数据流管理系统(DSMS)相关的领域知识和问题查询处理器PSoup实验结果及结论小结什么是数据流概念一系列连续且有序的点组成的序列x1,…,xi,…,xn,称为数据流；按照固定的次序，这些点只能被读取一次或者几次特点大数据量，甚至无限频繁的变化和快速的响应线性扫描算法，查询次数有限randomaccessisexpensive传统的数据库模型User/ApplicationLoaderQueryResultResult…Query…数据流(DSMS)管理系统模型User/Applicat
2、ionRegisterQueryStreamQueryProcessorResultsScratchSpace(Memoryand/orDisk)DataStreamManagementSystem(DSMS)DBMS与DSMS持久的关系One-timequeries随机的访问“无限”的磁盘空间当前状态有效被动的存储??相对较低的更新率很少“实时服务”??假定数据精确无误访问策略由查询处理器在数据库设计时确定瞬间的流连续的查询序列化的访问有限的主存数据的到达顺序是关键主动的存储??数据传输率未知实时响应
3、过时/模糊的数据变化的数据及数据量应用领域新的应用领域–以连续的、有序的“流”的形式输入数据网络监听和流量控制(Networkmonitoringandtrafficengineering)电话通信(Telecomcallrecords)网络安全(Networksecurity)金融领域(FinancialApplication)工业生产(ManufacturingProcesses)网页日志与点击流(Weblogsandclickstreams)应用实例网络安全数据包流，用户的会话信息查询:URL过滤
4、，异常监测，网络攻击和病毒来源金融领域交易数据流，股票行情，消息反馈查询:套汇可能性分析，模式现有的研究方向流数据建模(Streamdatamodel)STanfordstREamdatAManager(STREAM)DataStreamManagementSystem(DSMS)流检索/查询建模(Streamquerymodel)ContinuousQueriesSlidingwindows流数据挖掘(Streamdatamining)Clustering&summarization(Guha,Mot
5、wanietal.)Correlationofdatastreams(Gehrkeetal.)Classificationofstreamdata(Domingosetal.)流查询(例1)DSMSOutgoing(call_ID,caller,time,event)Incoming(call_ID,callee,time,event)event=startorendCentralOfficeCentralOfficeALICEBOB流查询(例1Cont)Findalloutgoingcallslong
6、erthan2minutesSELECTO1.call_ID,O1.callerFROMOutgoingO1,OutgoingO2WHERE(O2.time–O1.time>2ANDO1.call_ID=O2.call_IDANDO1.event=startANDO2.event=end)ResultrequiresunboundedstorageCanprovideresultasdatastreamCanoutputafter2min,withoutseeingend查询模型User/Applica
7、tionDSMSQueryProcessor内容提要数据流和数据流管理系统(DSMS)相关的领域知识和问题查询处理器PSoup实验结果及结论小结相关的数据库技术传统DBMS中的触发器、物化视图主存数据库分布式数据库活动数据库(ActiveDataBase)???时间序列数据库实时数据库(RealtimeDatabases)可适应、在线、部分结果集???(Adaptive,Online,PartialResults)相关知识滑动窗口(SlidingWindow)有限的内存，需要近似技术(Approxima
8、tiontechniqueforboundedmemory)最新的数据时间戳(TimeStamps)显式(Explicit)隐式(Implicit)011000011100000101010内容提要数据流和数据流管理系统(DSMS)相关的领域知识和问题查询处理器Psoup(AT&T)实验结果及结论小结电报系统示意图EDDYRSTeMsforjoinOutputQueuesInputStreamsSTRSTRxSxTgroupedfilter
