基于移动终端的实时场景监控系统设计与实现

基于移动终端的实时场景监控系统设计与实现

ID:27606688

大小:3.17 MB

页数:72页

时间:2018-12-05

上传者:U-23778
基于移动终端的实时场景监控系统设计与实现_第1页
基于移动终端的实时场景监控系统设计与实现_第2页
基于移动终端的实时场景监控系统设计与实现_第3页
基于移动终端的实时场景监控系统设计与实现_第4页
基于移动终端的实时场景监控系统设计与实现_第5页
资源描述:

《基于移动终端的实时场景监控系统设计与实现》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

上海交通大学硕士学位论文基于移动终端的实时场景监控系统设计与实现姓名:齐鸿儒申请学位级别:硕士专业:计算机软件与理论指导教师:申瑞民20070101 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文基于移动终端的实时场景监控系统设计与实现摘要随着人们对场馆、楼宇等室内环境的安全需求日益增强,视频监控系统得到了广泛的应用。其利用摄像头对目标场景进行实时监控,并将采集获取的视频数据呈现在远程显示设备上,用以实施有效的安全控制。然而,传统视频监控系统多采用固定终端作为显示设备,系统配置、维护方面相对复杂,并且在地域上也受到很大的限制,缺乏灵活性。无线网络在数据传输、网络带宽和接入方式等方面的迅速发展,为基于移动终端的应用系统开发提供了有利的条件。与传统的有线网络相比,无线网络可以保证终端随时随地灵活地接入、便捷可靠地访问网络资源。同时,移动终端的计算能力和多媒体显示效果也不断得到提高,在交互能力、处理器性能和网络访问等方面显示出强大的能力。本论文设计并实现了一个基于移动终端的实时场景监控系统。采集端对目标场景进行采集并录制编码,发送至服务器。服务器是系统的综合管理部分,由它统一管理系统中各个摄像头所获取的目标监控场景视频数据,并发送给授权用户。终端用户通过移动设备访问无线网络,向服务器请求特定监控场景的视频数据,从而实现对目标场景随时随地的安全保障和入侵防范。I 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文相对于传统的实时视频监控系统,本论文所做工作有以下特点和优势:1、灵活性。将监控终端部署于移动平台上,通过无线网络访问实时视频数据,使得系统拥有非常灵活的特性。监控者可以在任何需要的时候对其权限所允许的系统管理的目标场景进行监控。这一监控过程无需监控者局限于固定的监控室内,监控者只需通过自己的移动终端连接入监控系统,根据其身份和相应的权限选择相应的监控场景即可。2、实时性。监控者在移动终端所显示的监控场景是由摄像头获取,并经过实时编码、压缩,以适合无线网络的带宽和移动终端的显示分辨率。监控者可以通过移动设备控制摄像头的方向和焦距,以获取不同的位置和细节程度的场景信息。用户在需要实施监控的同时,还可以对当前的画面进行拍摄,或者对当前场景视频进行录制,以保存关键的监控画面内容。3、易用性。移动视频监控系统部署简单,仅需配置摄像头,安装录制和转发服务器端软件即可。它不仅适用于场馆的安全监控,而且还适用于学校考试时的巡考、确保家庭安全、监护幼儿和老人、公司的安保系统等方面。4、可扩展性。移动视频监控系统可以较为方便的扩展至多种不同的移动终端平台上,而其录制端和服务器软件可以相对稳定的工作。目前客户端支持在SymbianOSSeries60和WindowsCE两种主流移动平台上通过GPRS无线网络进行监控。II 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文本论文工作得到了面向世博场馆的实时移动监控系统研究课题(项目编号:05DZ05837)的支持。关键词:移动监控,实时远程控制,安全监控系统,无线视频传输,视频压缩III 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文THEDESIGNANDIMPLEMENTATIONOFAREALTIMEMOBILESURVEILLANCESYSTEMABSTRACTWiththeincreasingrequirementsforsecurity,thesurveillancesystemiswidelyappliedinstadiums,buildingsetc.Byusingvideocameras,thesesystemsreal-timemonitorthetargetscenes,sendingthecapturedvideodatatotheremotedisplaysoastoaccomplisheffectivesafetycontrol.However,mostexistingvideosurveillancesystemsadoptfixedendsystemasdisplaydevices,whoseconfigurationandmaintainacearecomplicatedandlackofflexibilityfortheconstraintsonlocation.Therapidprogressofthewirelessnetworkonaspectsofdatatransfer,networkbandwidthandaccessmethodsprovideadvantageouscircumstancesforthemobiledevicebasedapplicationsystemdevelopment.Comparedwiththecablenetwork,wirelessnetworkcansupplyflexibleapproachesandconvenientaccesstonetworkresourcesanywhereandanytime.Atthesametime,thecomputationandmultimediaprocesscapabilityonmobiledeviceareenchancedconstantly,whichrevealsitspowerininteractivity,CPUperformanceandnetworkaccess.Inthisthesis,wedesignandimplememntedareal-timemobilesurveillancesystem.Ontheremoteside,thevideorecordercapturesandIV 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文encodesthevideodataoftargetsceneandtransfersittotheserver.Theserveristheintegratedadminstrationcomponentofthewholesystem,whichsupervisesallthecameravideosfromthetargetsceneandforwardsthemtotheauthorizedclients.Enduserscanaccessthewirelessnetworkwithmobiledevicesandrequestthevideodataforparticulartargetlocations.Inthisway,thesystemrealizesthesafetyguaranteeandinvasionpreventionforthetargetlocationanytimeanywhere.Comparingwithtraditionalvideosurveillencesystem,ourworkshavethefollowingfeaturesandimporements:1.Flexibility.Thesuveillenceclientisdeployedonmobileplatformandcanaccessthereal-timevideodatathroughwirelessnetwork,whichmakesthesystemmuchmoreflexible.Usercanmonitortheauthorizedlocationatanytimeanddoesnotneedtobelimitedinthemonitoringroomanymore.Theyjustneedtoconnecttothetransmitterwithmobileterminalsandthesystemwillsendthedataaccordingtotheirrequestandidentification.2.Realtime.Thesceneshowedonthemobileterminalsiscapturedbythevideocamera,encodedandcompressedreal-timeaccordingtothebandwidthofthewirelessnetworkandtheresolutionofmobileterminals.Usercanalsocontrolthedirectionandfocusofthevideocamerathroughtheirmobiledevicessoastocapturethetargetscenesfromdifferentpositionandinvariousdetails.WhileperformingV 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文surveillance,usercansnapshotthecurrentscreen,orrecordwhathanppensbyrecordingitonmobiledevices.1.Usibility.Mobilesurveillancesystemcanbedeployedconveniently.Itonlyneedstoconfigurethevideocamera,installtherecorderandtransmitter.Itisnotnolyapplicabletothestadiumsecuritysystem,butalsoappropriatefortheexaminationscoutinschool,familysafeguradandlookingaftertheyoungandtheelder.2.Scalability.Mobilevideosurveillancesystemcanbetransplantedtovariousmobileplatformswhiletherecorderandtransmittercanworkstablywithoutchanges.Atpresent,themobileclientsupportstwomainstreammobileplatforms:SymbianOSSeries60andWindowsCE,anduseGPRSwirelessnetworktotransferdata.Theworkinthisthesisissupportedbytheproject《TheRealTimeMobileSurveillanceSystemOrientedtoWorldExposStadium》(ProjectNumber:05DZ05837)KeyWords:mobilesurveillance,real-timeremotecontrol,safemonitoringsystem,wirelessvideotransfer,videocodecandcompressionVI 上海交通大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:齐鸿儒日期:2007年1月18日 上海交通大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□,在年解密后适用本授权书。本学位论文属于不保密。(请在以上方框内打“√”)学位论文作者签名:齐鸿儒指导教师签名:申瑞民日期:2007年1月18日日期:2007年1月18日 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第一章绪论1.研究背景随着人们生活水平的提高,对安防监控的需求越来越多,因而视频监控系统也已成为一种普遍的选择。视频监控系统主要用于对重点区域或远程地点的监视和控制,以动态地监测并发现问题。目前广泛应用的各种视频监控系统在安全控制、场馆监控方面发挥着非常重要的作用。日益迫切的安全需求对视频监控系统提出了越来越高的要求,不仅而且要求系统能够提供视频捕获、数字化、网络传输、监控回放等基本功能,还需要在实时性和可控性方面提供良好的支持。然而传统的视频监控系统虽然在系统安全、稳定可靠等方面有着优秀的性能,但是却在灵活性和系统成本方面有着不足,而且整个系统部署也相对复杂,不能很好的适用于中小型目标场景的监控。移动终端计算能力[1]的不断提高和无线网络[2]的迅猛发展,使得分布于移动终端的嵌入式应用也受到了显著的重视,也为移动智能终端上的应用提供了广阔的前景。无线网络已经发展成为传输稳定、方便快捷、安全高效并且具有较高带宽的网络接入方式。与此同时,智能终端也不仅仅局限于传统的语音和文本处理,对于多媒体的处理能力也有很大的增强,出现了视频电话、移动电视等基于多媒体的应用。随着手机的功能越来越强大,有学者预测:在不久的将来,人们将会把手机作为PC的替代品。嵌入式操作系统为再开发提供了平台,使得人们可以便捷而高效地开发适于特定的场合的应用,其中包括视频监控系统。同时,移动终端的计算能力和多媒体处理能力也不断得到提高:芯片处理速度更高,内存更大;显示屏更大,清晰度更高;电池的容量继续扩大。经过长期的发展,移动终端已经在人机交互、CPU处理性能和网络访问等方面显示出强大的能力。由于移动服务的即时性、个性化、移动性和方便性等特点,使得它具有更大的优势:高效准确的信息互动广泛的用户覆盖随时随地的信息沟通强大的多媒体处理为解决上述问题,提供一种既安全又稳定、既灵活又部署简单、成本相对较低的实时视频监控系统,需要将传统视频系统与拥有无线网络的移动智能设备相结合,以便发挥他们各自的优点,使得监控系统具有移动性和灵活性。1 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.视频监控简介监控技术从80年代进入我国以来,一直飞速发展,从技术层面上化分,经历了五个不同发展阶段。第一阶段为全模拟监控,也叫闭路电视监控,是使用磁带录像机的模拟监控 系统。它通常由一些带同轴电缆输出的模拟摄像和用于记录视频的磁带录像机组 成,视频并不经过压缩。主要应用在公安、交通、银行等重要单位和部门。 第二阶段为准数字监控系统,又称为部分数字监控系统,是采用了数字视频 记录的模拟监控系统。它以数字硬盘录像为主,将原来的磁带存储模式转变成数 字存储录像,解决了监控、中模拟与数字的录像和显示,集合了录像机、画面分 割等功能,为全数字化奠定了基础。第三阶段为全数字视频监控系统。它以嵌入式硬盘录像为主,以网络为依托, 以数字视频的压缩、传输、存储和播放为核心,是一种将应用程序和操作系统与 微处理器和各种芯片集成在一起的嵌入式系统,其特点是结构紧凑,但图像远传 仅局限在局域网内传输。第四阶段为远程网络视频监控系统。它以网络视频服务器为代表,解决了视 频流在网络上的传输。从图像采集到数字化处理、传输,使得传输线路的选择更 加多样性,只要有网络的地方,就提供了图像传输的可能。但当网络发生障碍以 及大容量应用时图像的存储就会发生丢失,这样监控前端录像存储的重要性就突 显出来。其网络传输的控制管理较为简单,不能适应大规模、多任务的复杂应用 需求。其特点是集成度、标准化程度高,便于集中监控系统管理和维护;兼容性 强,易于升级换代;功能丰富强大。第五阶段为网络多媒体监控系统是由网络多媒体监控管理平台和前端信息采 集设备组成,是将图像信号处理技术、宽频带网络传输技术、计算机多媒体、生 产过程自动化控制技术组合的多网络多任务系统。其核心是网络多媒体监控管理 平台,具有全新的实时数据、实时图像、实时声音整体效果。它集计算机网络、 通讯、视频处理、流媒体、和自动化技术于一身,兼备网络视频监控、视频会议、 视频直播等功能;是构建于局域或广域网络之上、支持多种传输方式的综合多媒 体业务管理平台,其应用已远远超出监控本身所涵盖的内容。其不再局限于简单地完成对视频信号的处理、传输、控制,其核心乃是对基于IP网络的多媒体信息 提供一个综合完备的管理控制平台。它以智能实用的图像分析为特色,可以广泛 用于多媒体视讯调度指挥、网络视频监控和会议、多媒体网上直播、网络教学、 远程医疗等各个方面。2 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.移动视频监控系统介绍为了提高现有监控系统在实时性和可控性上的性能,满足日益迫切的安全需求,越来越多的监控系统将无线网络纳入系统,通过无线网络,各种移动设备可以非常便捷而又高效的接入整个系统当中,特别是手机、PDA等便携式智能终端设备的引入,使得视频监控系统成为真正能够在任何时候、任何地点实施监控任务的移动视频监控系统。目前移动视频监控系统虽然还未被大规模的使用,但其广阔的应用前景使得人们已经提出了很多系统原型[3]:(1)NationalKaohsiungFirstUniversity大学设计开发一个基于J2ME平台的PDA移动监控系统[4],如图1-1所示。该系统采用RMI和JMF技术,支持拍摄、消息和邮件功能。客户端安装在PalmOS之上,通过无线网络连接负责视频处理的服务器。同时,该系统支持不同的视频分辨率以适应不同的带宽和不同设备的显示分辨率。图1-1移动监控服务构架Figure1-1TheFrameworkofMobileSurveillanceService服务器可以通过各种终端代理,与其他应用相交互。例如,服务器与邮件服务器代理相交互,可将拍摄的图片以电子邮件的形式发送到特定的邮箱。在系统交互方面,该系统采用手机短消息机制提供用户与服务器的支持。(2)英国的Bristol大学开发了EUFP6WCAM(WirelessCamerasandAudio-VisualSeamlessNetworking)项目[5],其主要是针对视频监控和多媒体分布式应用,如图1-2所示。该项目采用H.264视频编码,基于无线LAN网络数据3 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文传输,研究了对视音频进行端到端传输的无缝无线网络,分别对TCP和UDP无线视频传输中的缓存问题提出了相应的解决办法。图1-2远程监控中的无线视频传输系统描述Figure1-2WirelessVideoTransmissionforRemoteSurveillance-DescriptionofPlannedDemonstrationSystem该项目收集了特定信道条件下系统的特性并给与分析,在此基础上推荐在特定传输场景下优化操作参数。在视频错误恢复和包装策略方面,采用分散的灵活宏块排序特性[6](FlexibleMacroblockOrdering,FMO),以改善视频质量。1.本文主要工作和组织结构1.4.1本文的主要工作本文设计并实现一套移动视频监控系统,将实时的视频流媒体通过GPRS网络传送到基于SymbianOSSeries60和WindowsCE平台的智能手机上。在智能手机上对所监控的全部场景进行同步直播,监控者可以通过移动设备控制监控摄像头的位置和焦距,以获得对目标场景全方位的监控效果。同时,监控者还可以将关键桢以图片文件的格式保存至手机、PDA等移动终端,或者录制一定时间段内的视频,对该时间内的场景进行回放。4 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文为了使多种平台的移动设备能够通过无线网络进行远程实时监控,该系统采用C/S构架模型,视频的提供者是从监控摄像头获得数据的压缩代理,它同时负责将该目标场景的视频数据发送给服务器;服务器被设计成为能够为各种移动平台提供实时视频数据的管理系统,移动设备就可以方便的通过无线网络实时地监控。由于监控场景各不相同,用户在实施监控时,需要尽可能从各个角度全面地获得场景中信息。系统还支持移动终端对监控摄像头的控制,包括摄像头的旋转和焦距的调节。此外,为了使用户能够灵活地扩展监控应用,移动客户端还支持自定义摄像头的扩展功能。通过添加自定义摄像头,监控者可以简便而安全地扩展对目标场景的监控。从而解决了系统配置复杂的问题,同时也降低了成本。1.本文的组织结构本文篇章安排如下:第一章绪论部分,主要介绍当前监控系统的宏观背景,通过对安全的需求以及对现阶段移动设备和无线网络的发展状态的分析,介绍移动视频监控的必要性。该部分还着重介绍了当前一些典型的移动视频监控系统的构架设计和功能。最后概述本文的主要工作及篇章结构。第二章介绍了实现该系统所需要的技术背景,包括嵌入式操作系统WindowsCE和SymbianOSSeries60;GPRS无线网络的特点和系统结构。第三章对基于移动终端的视频监控系统进行了总体上的设计。从功能上看,本系统主要由实时监控功能、远程控制功能和视频记录功能组成。从结构上看,该系统由视频采集端、转发服务端和移动客户端构成。第四章主要介绍了移动实时监控系统的实现细节。根据功能的不同,介绍了实时监控功能的实现,其中包括视频采集端、转发服务端和移动客户端类以及类之间关系的设计。为了使用户能够更加全面的获得目标场景的信息,本章还介绍了通过移动设备,在实时监控的同时进行远程控制摄像头的实现。视频的录制功能的实现也是监控系统的重要组成部分。对于移动设备不仅提供视频流的录制,而且还支持视频画面的拍摄功能。第五章介绍了移动实时视频监控系统的运行环境,并展示了系统的配置和操作步骤。首先转发端提供传输服务,采集端以特定的身份注册在某个转发服务器上,并对其视频编码压缩进行相关的配置,开始采集目标场景的视频。移动客户端基于WindowsCE和SymbianS60移动平台,通过登陆转发服务期与特定的监控场景相对应,实时地监控场景信息。同时,用户还可通过移动终端进行远程控制和视频录制功能。5 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第六章对本文工作进行总结,并对移动实时监控系统的下一步研究工作和前景进行展望。1.小结随着时代的进步,人民生活水平不断提高,安全成了人们更加关心的话题。由于人们对安全需求的不断增强,安全监控系统已经成为普遍的选择。本章简要介绍了监控系统的发展背景。移动设备处理能力的增强和无线网络的迅猛发展,为移动视频监控系统的奠定了基础。本章还介绍了一些典型的移动视频监控系统。最后介绍了文章主要工作和组织结构。6 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第二章技术介绍本章主要对本论文工作中所涉及的相关技术进行简要介绍。论文选取基于WindowsCE平台和SymbianOSSeries60平台的智能手机操作系统作为主要的开发平台,采用GPRS无线网络作为实时视频流媒体数据的传输网络。下面我们分别对上述技术进行介绍。1.嵌入式操作系统概述嵌入式操作系统是一种支持嵌入式系统应用的操作系统软件,它是嵌入式系统(包括硬、软件系统)极为重要的组成部分。它通常包括与硬件相关的底层驱动 软件、系统内核、设备驱动接口、通信协议、图形界面、标准化浏览器等。嵌入 式操作系统具有通用操作系统的基本特点,如能够有效管理越来越复杂的系统资 源;能够把硬件虚拟化,使得开发人员从繁忙的驱动程序移植和维护中解脱出来; 能够提供库函数、驱动程序、工具集以及应用程序。与通用操作系统相比较,嵌 入式操作系统在系统实时高效性、硬件的相关依赖性、软件固态化以及应用的专 用性等方面具有较为突出的特点。嵌入式操作系统伴随着嵌入式系统的发展经历了四个比较明显的阶段:第一 阶段为无操作系统的嵌入算法阶段,以单芯片为核心的可编程控制器形式的系统。 应用于一些专业性极强的工业控制系统中,通过汇编语言编程对系统进行直接控 制,运行结束后清除内存。系统结构和功能都相对单一,处理效率较低,存储容量较小,几乎没有用户接口。第二阶段是以嵌入式CPU为基础、简单操作系统为 核心的嵌入式系统。CPU种类繁多,通用性比较差;系统开销小,效率高;一般 配备系统仿真器,操作系统具有一定的兼容性和扩展性;应用软件较专业,用户 界面不够友好;系统主要用来控制系统负载以及监控应用程序运行。第三阶段为 通用的嵌入式实时操作系统阶段,以嵌入式操作系统为核心的嵌入式系统。能运 行于各种类型的微处理器上,兼容性好;内核精小、效率高,具有高度的模块化 和扩展性;具备文件和目录管理、设备支持、多任务、网络支持、图形窗口以及 用户界面等功能;具有大量的应用程序接口;嵌入式应用软件丰富。第四阶段是以基于Intemet为标志的嵌入式系统。这是一个正在迅速发展的阶段。目前大多 数嵌入式系统还孤立于lnlemet之外,但随着Intemet的发展以及Intemet技术与 信息家电、工业控制技术等结合日益密切,嵌入式设备与Intemet的结合将代表 着嵌入式技术的真正未来。7 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.WindowsCE平台结构WindowsCE[7]是Microsoft公司开发的一个紧凑、高效并且可升级的操作系统,它被设计成为针对小型设备的通用操作系统,如图2-1所示。WindowsCE可以通过设计一层位于内核和硬件之间代码来用设定硬件平台,它采用标准模式,能够由一系列软件模式做出选择,从而使产品定制。另外,一些可利用模式也可作为其组成部分,使得这些模式能够通过从一套可利用的组份做出选择,从而成为标准模式,通过选择,能够达到系统要求的最小模式,OEM能够减少存储脚本和操作系统的运行。图2-1WindowsCE平台体系结构Figure2-1WindowsCEPlatformArchitectureWindowsCE是有优先级的多任务操作系统[8],它允许多重功能、进程,在相同时间系统中运行。WindowsCE支持最大的32位同步进程,并在他们之间来回切换,这本质上就是Windows的简化版本,可以通过我们熟悉的Windows操作方式来控制WindowsCE。一个进程包括一个或多个线程,每个线程代表进程的一个独立部分,一个线程被指定为对应进程的基本线程。从操作系统内核的角度看,WindowsCE具有灵活的电源管理功能,包括睡眠/唤醒模式。在WindowsCE中,还使用对象存储(ObjectStore)技术,包括文件系统、注册表及数据库。它还具有很多高性能、高效率的操作系统特性,包括按8 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文需换页、共享存储、交叉处理同步、支持大容量堆(Heap)等。WindowsCE的图形用户界面[9]相当出色。它拥有基于MicrosoftInternetExplorer的Internet浏览器,此外,开发人员可以利用丰富灵活的控件库在WindowsCE环境下为嵌入式应用建立各种专门的图形用户界面。WindowsCE甚至还能支持诸如手写体和声音识别、动态影像、3D图形等特殊应用。WindowsCE拥有良好的通信能力。它广泛支持各种通信硬件,同时支持直接的局域网连接以及拨号连接,并提供与PC、局域网以及Internet的连接,包括用于应用级数据传输的设备至设备间的连接。其网络通讯结构如图2-2所示。在提供各种基本的通信基础结构的同时,WindowsCE还提供与Windows9x/NT的最佳集成和通信。WindowsCE还内置了多媒体功能,通过WindowsMediaPlay可以播放音乐和视频。WindowsCE具有可扩充的CompactFlash/MMC/SD插槽,通过扩充卡可以实现更多功能,包括网页浏览、无线接入或者增加更大的存储空间。WindowsCE为快速建立下一代智能移动和小内存占用的设备提供了一个健壮的实时操作系统。WindowsCE具备完整的操作系统特性集和针对端到端的开发环境。图2-2WindowsCE网络通讯结构Figure2-2FrameworkofWindowsCENetworkCommunication9 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.SymbianOSSeries60平台结构Symbian[10]是一个实时性、多任务的纯32位操作系统,具有功耗低、内存占用少等特点,非常适合手机等移动设备使用,经过不断的发展和完善,Symbian系统更加成熟,几乎支持所有现有的无线数据通信传输平台。Symbian系统[11]是系统内核与用户界面分开设计的两部分,其用户界面分为两种常见的形式,一种是Series60(S60)系列平台,另一种是UIQSeries平台。其中S60系列平台是现在的主流,绝大部分机器均采用此种界面。而UIQ平台则是针对高端手机所采用的平台,采用全屏触摸方式。SymbianOS具有良好的层次化结构[12-14],如图2-3所示,主要包括以下几个部分:(1)最下层是设备硬件和各个厂家的驱动;(2)系统内核:处理内存管理和进程间切换,向上层提供基本操作系统功能,也包含通用的设备驱动程序来控制手机硬件设备;(3)其它层:提供通信服务,如TCP/IP,IMAP4,SMS等;其他服务如:数据库服务,多媒体服务,图形服务,个人信息管理服务(PIM)等,同时也包括Java虚拟机,支持J2ME程序。图2-3Symbian操作系统结构Figure2-3ArchitectureofSymbianOperatingSystemSeries60[15]是基于Symbian,做了改进和修改设计而成的单用户数字键盘手机可视化界面平台,功能强大,同时支持Symbian和Java应用。目前市场上数量最多的基于Symbian操作系统的终端就是S60终端,S60的应用开发不受限制,涉及商务、生活和娱乐等各领域。从软件角度看,主要由以下四个部分组成:内10 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文核:管理设备的硬件资源;应用程序:具有用户接口的程序,在独立进程空间运行;服务器:管理各种资源,提供API,方便调用;引擎:应用程序中操纵数据。从图2-4中可以看出,S60平台[16]基于Symbian操作系统之上,增加了一个AvkonUI层为第三方软件开发GUI程序提供了许多API接口,同时也增加一些关键的应用程序引擎,及和特定设备相关的动态链接库、设备驱动程序等来控制专门的键盘,屏幕,RTC(RealTimeClock),红外线等。图2-4SymbianS60平台系统架构Figure2-4ArchitectureofSymbianS60Platform1.无线网络技术介绍无线网络按其网络制式可分为CDMA、GPRS、CDPD。CDMA(CodeDivisionMultipleAccess)又称码分多址,是在无线通讯上使用的技术;GPRS[17]即通用分组无线业务(GeneralPacketRadioService),是在现有的GSM网络上开通的一种新的分组数据传输技术。相对于原来GSM以拨号接入的电路数据传送方式,GPRS是分组交换技术,具有永远在线、自如切换、高速传输等特点。CDPD(CellularDigitalPacketData)即蜂窝数字式分组数据交换网络,是以分组数据通信技术为11 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文基础、利用蜂窝数字移动通信网的组网方式的无线移动数据通信技术。由于GPRS无线网络适用于视频监控系统,本节针对GPRS网络的特点和系统结构进行简要介绍。1.GPRS无线网络的特点GPRS无线网络[18]能够全面提升移动数据通信服务。GPRS采用与GSM同样的无线调制标准、同样的频带、同样的突发结构、同样的跳频规则以及同样的帧结构。此外,它还具有下述特点:(1)资源利用率高。GPRS引入了分组交换的传输模式,使得原来采用电路交换模式的GSM传输数据方式发生了根本性的变化,这在无线资源稀缺的情况下显得尤为重要。按电路交换模式来说,在整个连接期内,用户无论是否传送数据都将独自占有无线信道。而对于分组交换模式,用户只有在发送或接收数据期间才占用资源,这意味着多个用户可高效率地共享同一无线信道,从而提高了资源的利用率。(2)传输速率高。GPRS可提供大约115kbit/s的传输速率,以及最高值为1.4.1kbit/s的传输速率。这使得便携式设备用户通过GPRS网络传输速率敏感的移动多媒体应用成为可能。(3)快捷登录与实时在线。GPRS网络无需拨号,用户随时可以上网。其上网费用为按量计费,以流量的多少计算费用,与接入网络时间无关,适合不同应用的数据传输。(4)支持IP协议和X.25协议。GPRS支持因特网上应用最广泛的IP协议和X.25协议。而且由于GSM网络覆盖面广,使得GPRS能提供Internet和其它分组网络的全球性无线接入。可见,GPRS网络允许用户在端到端分组转移模式下发送和接收数据,而不需要利用电路交换模式网络资源。从而提供了一种高效、低成本的无线分组数据业务。2.GPRS无线网络的系统结构GPRS网络是在现有的GSM网络基础上改造而成,主要包括三个组成部分,其结构如图2-5所示:(1)MobileStation(MS):由移动设备(手机)和SIM(SubscriberIdentityModule)卡组成。每个手机包含一个15位数字的全球唯一的序列号IMEI(InternationalMobileEquipmentIdentity),而SIM卡中有一个全球唯一的的IMSI(InternationalMobileSubscriberIdentity),两者相互独立。12 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文(2)BSS:基站子系统(BaseStationSubSystem),由3部分组成:BTS:基站收发器(BaseTransceiverStation)有一个无线电收发器,定义了一个蜂窝,处理和MobileStation的无线电连接BSC:基站控制器(BaseStationController)管理一个或多个基站收发器的无线电资源(3)NSS:网络交换子系统(NetworkSwitchingSubsystem)包含了GSM系统中电路交换的核心网络,由以下部分构成:MSC:移动交换中心(MobileSwitchingCenter):作为PSTN和ISDN的交换节点VLR:用户位置服务器(VisitorLocationRegister):关于用户访问信息的数据库,一般与MSC集成在一起。图2-5GPRS网络系统构架Figure2-5GerneralArchitectureofGPRSNetworkGPRS网络是在现有GSM网络中增加GGSN和SGSN来实现的,使得用户能够在端到端分组方式下发送和接收数据。SGSN是GSM网络结构中的一个节点,它与MSC处于网络体系的同一层。SGSN通过帧中继与BTS相连,是GSM网络结构与移动台之间的接口。SGSN的主要作用是记录移动台的当前位置信息,并且在移动台和GGSN之间完成移动分组数据的发送和接收。GGSN通过基于IP协议的GPRS骨干网连接到SGSN,是连接GSM网络和外部分组交换网的网关。GGSN主要是起网关作用,可以把GSM网中的GPRS分组数据包进行协议转换,从而可以把这些分组数据包传送到远端的TCP/IP或X.25网络。SGSN和GGSN利用GPRS隧道协议(GTP)对IP或X.25分组进行封装,实现二者之间的数据传输。13 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文分组交换的基本过程是把数据先分成若干个小的数据包,可通过不同的路由,以存储转发的接力方式传送到目的端,而组装成完整的数据。分组交换基本上不是实时系统,延时也不固定,但可以使不同的数据传输共用传输带宽:有数据时占用带宽,无数据时不占用,从而分享资源。同时分组交换可以提供灵活的差错控制和流量控制,主要是在端到端的高层进行,以减少中间网络低层环节不必要的开销;也可以在网络部分环节上增加控制,提高安全性。另外通过设置服务等级QoS等手段,可以有效的控制和分配延时、带宽等性能,所以分组交换非常适用于数据应用,GPRS网络体系系统结构见图2-6。图2-6网络体系结构Figure2-6NetworkInfrastructures在GSM无线系统中,无线信道资源非常宝贵。如采用电路交换,通信需要建立端到端的连接,在通信过程中要独占信道,每条GSM信道只能提供9.6kb/s或14.4kb/s传输速率。如果多个组合在一起,最多可有8个时隙,虽可提供更高的速率,但只能被一个用户独占,在成本效率上显然缺乏可行性。而采用分组交换的GPRS则可灵活运用无线信道,每一个用户可以有多个无线信道,而同一信道又可以由几个用户共享,从而极大地提高了无线网络资源的利用率。在理论上,GPRS可以将最多8个时隙组合在一起,给用户提供高达171.2kb/s的带宽。由于GPRS用户的数据通信费是以数据量为基础,而不考虑通信时长,所以GPRS用于IP业务的接入将更为用户所接受。GPRS最大的特点就是“永远在线”。从无线系统本身的特点来看,GPRS使GSM系统实现无线数据业务的能力产生了本质的飞跃。14 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.小结本章描述了实现该系统所需要的一些核心的技术背景,包括嵌入式操作系统,以及两种系统所涉及的移动设备嵌入式操作系统WindowsCE平台和SymbianOSSeries60平台。本章还介绍了系统数据传输中GPRS网络的特点和体系结构。15 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第三章移动视频监控系统设计本章主要阐述移动视频监控系统的设计,其中包括如何对目标场景中的视频进行压缩,并经过GPRS无线网络传输到移动终端设备。同时系统还支持监控者对摄像头的控制,以对目标场景实施全方位的实时监控。为了支持录制功能以存储目标场景的历史监控数据,系统不仅允许将场景视频以文件形式保存在移动设备的存储卡上,而且针对移动设备存储量相对较小的限制,还允许用户将视频关键桢保存为图片,从而较好的利用了存储空间。同时,为了支持不同移动平台的终端设备,系统采用统一的应用层协议,并对不同的移动平台上所需要的公共模块进行了抽象,以动态链接库的形式提供功能上的支持。这不仅增强了公共模块的可靠性,减少了出错的可能,而且便于功能扩展。1.系统总体设计1.4.1系统需求分析本系统主要涉及到两类用户:管理员和监控者。管理员将部署在目标场景当中的摄像头与视频采集端相连接,通过视频采集端,配置用于监控该场景的用户的身份。同时系统管理员还负责指定视频数据转发服务的地址,以便采集端将其编码压缩后的视频数据传送到转发服务器。管理员用况图如图3-1所示。配置采集端提供权限 管理员配置服务器图3-1管理员用况图Figure3-1Administrator’sUseCaseDiagram16 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文监控者需要在移动设备上安装客户端,并配置监控摄像头。监控者需要提供合法的身份,以对特定的场景实施监控。在实时监控的同时,用户还可以通过移动设备控制监控摄像头的方向和焦距,以观察不同局部的场景、获得不同细节的场景信息。作为监控系统,录制功能是非常必要的。监控者还可以将场景视频录制为流媒体文件,在需要的时候进行回放。虽然移动设备的存储容量已经有了突飞猛进的增长,但是对于大量视频存储的需求,移动存储量仍有很大限制。因此,在支持视频录制的同时,系统还提供拍摄功能。监控者可以通过快捷键方便而迅速的拍摄特定的视频关键桢,从而减缓了录制对移动存储容量的需求。监控者的用况图如图3-2所示。图3-2监控者用况图Figure3-2Surveillant’sUseCaseDiagram1.系统总体框架通过上述对系统中各个角色和功能分析,本系统主要由三个部分组成:视频采集端、转发服务端和移动客户端,如图3-3所示。这三个子系统相互协作、相互通信,共同完成实时视频监控任务以及其他系统功能。对于中小型监控场景而言,为了使系统部署更加简单,视频采集端和转发服务端可以部署在同一服务器之上。对于相对大型的监控场景,可以部署若干摄像头,以更加灵活的获取场景信息。这种情况下视频采集端与转发服务端可以部署在不同的服务器上,以便对多个摄像头采集到的同一场景的视频数据进行统一管理。17 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图3-3移动监控系统总体框架Figure3-3FrameworkofMobileSurveillanceSystem系统中三个组成部分分别设计如下:视频采集端是监控系统视频数据的源端。视频采集端从监控摄像头获取场景的视频数据,并对其进行处理。由于原始的视频数据量在视频分辨率、图像质量以及数据传输量方面都与移动设备和无线网络的应用有着很大的差距,因此视频采集端将负责对场景视频数据进行编码压缩处理,以使得在GPRS无线网络在有限的带宽条件下能够传输实时的视频流。为了将视频数据传输到移动终端,视频采集端除了需要获取视频数据并进行编码压缩之外,还需要将压缩后的视频数据发送至转发服务器,有它来统一管理整个系统中各个场景的视频采集端和监控者连接。转发服务端是系统的管理中心,它不仅需要管理各个监控场景的视频数据,而且还需要对监控者的身份进行确认,以确保合法的用户能够进入系统,进行实时地移动监控。转发服务器针对每个监控场景的摄像头,维护一个合法的监控用户的列表,列表中的用户都可以观测到目标场景的实时情况。通过与每个合法用于建立单播连接,使得用户可以方便地进行监控场景之间的切换。18 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文开始退出返回摄像头列表返回监控摄像头配置添加摄像头 监控录制文件列表已录制文件 列表返回回放回放图3-4移动客户端状态图Figure3-4MobileClientStatusDiagram移动客户端是使系统拥有灵活性和移动性的关键组成部分。用户不仅可以通过移动客户端添加监控摄像头,使得部署新的监控场景和自定义摄像头成为简易、低成本的过程,而且还必需提供合法的身份,进入特定场景的监控系统,进行实时的监控,如图3-4所示。在监控的同时,移动客户端还可以将视频流以文件形式保存在移动终端的存储介质上以供回放,同时也可以通过快捷键方便的进行拍摄,抓取当前监控场景中的关键画面。为了全面的实现移动设备的实时视频监控,系统除了将目标场景的视频实时的显示在移动终端上,还需要提供远程控制功能和视频录制功能。这些功能使得移动监控能够提供安全、高效、便捷的功能支持,从而在更大程度上满足视频监控系统日益增长的需求。19 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.实时监控功能设计视频监控功能是系统最基本的功能,它提供了由视频采集端到最终用户的视频流信息。这一过程是将实时的视频数据由监控场景到无线终端的传输,因此,带宽的限制使得视频数据必须经过编码压缩,这一个过程是由负责视频采集的程序实时完成的,如图3-5所示。视频 数据编码压缩视频采集端Internet转发服务转发服务器无线网络移动客户端解码播放图3-5视频监控功能数据流图Figure3-5VideoMonitoringComponentDataFlowDiagram1.4.1视频采集端设计视频采集端运行在与监控摄像头直接相连的独立主机上。在系统工作之前,系统管理员需要对采集端的相关参数进行设定,包括允许监控该场景的用户身份、转发服务器的地址以及所采用的视频编码标准,如图3-6所示。视频采集端从监控摄像头获取拍摄到的视频画面,然后采用相应的编码标准对摄像头获取的视频20 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文进行实时地编码压缩。这一过程不仅将视频编码为特定标准的视频流,而且还根据移动平台设备的不同,将视频设定为适合的分辨率。这样既可以减小在无线网络上传输的视频流的数据量,使得系统受网络带宽的限制相对减小;更重要的是可以减少移动设备解码视频时所需要的计算量。这使得移动设备能够实时地播放经过编码压缩的视频流。所有视频采集端的参数有系统管理员配置完成。获取视频编码压缩身份配置转发配置视频采集端图3-6视频采集端的功能模块Figure3-6FunctionModulesofVideoRecorder为了减少网络带宽的需求量,系统采用H.264视频编码技术[30-32]。它在尽可能保证视觉效果的前提下减少视频数据量,并减少视频序列的码率,以便能够在给定的通信信道上实时传输视频。H.264技术能够在较低带宽上提供高质量的图像传输,这正好适应了目前国内接入网带宽还非常有限的状况。H.264标准中的内部预测创造了一种从已经编码的一幅或多幅图像幀中预测新幀的模型。AVC(AdvancedVideoCoding)编码[34-36]使用基于块的运动补偿。H.264/AVC具有可变块大小运动补偿,选择运动补偿大小和形状更加灵活,支持从16x16到4x4范围尺寸的运动补偿块,在这个范围中亮度样本可有多个选择;具有较强的抗误码特性,可适应丢包率高、干扰严重的信道中的视频传输。视频采集端在获取场景视频的同时,实时进行编码压缩。为了减少视频序列的码率并提供高质量的图像传输,H.264标准将每个视频图像帧划分为固定大小的宏块,宏块是解码的基本模块单元,通常是一个16×16亮度像素和两个8×8彩色分量像素的长方型区域。所有宏块的亮度和色度采样在空间或时间上进行预测,对预测残余进行变换编码。为了能进一步利用空间相关性,H.264标准引入了帧内预测以提高压缩效率[38]。帧内预测编码就是用周围邻近的像素值来预测当前的像素值,然后对预测21 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文误差进行编码。它不仅利用了一个宏块内部的相关性,而且也利用了宏块之间的相关性,所以一般编码后的数据量相对较小。帧间预测[40]主要是指使用运动估计和运动补偿来消除时间冗余。语法允许运动矢量跨越图像边界,这种情况参考帧需用外插法推算出图像外的采样值。利用邻近块的平均或方向预测,用差分编码计算运动矢量。语法支持多图像运动补偿预测,以前编码的多个图像都可用作运动补偿参考,每个运动补偿需要指示参考图像的索引。一个8×8块划分成的小于8×8块的运动补偿使用同一参考图像索引,该功能要求编码和解码器具有多帧图像缓冲器,解码器通过位流中的管理控制操作信息与编码器同步。H.264标准支持多参考帧预测(MultipleReferenceFrames)[41],即可以有至少一个,最多五个在当前帧之前解码的帧可以作为参考帧产生对当前帧的运动预测。这适用于视频序列中含有周期性运动的情况。采用这一技术,可以改善运动估计的性能,提高H.264解码器的错误恢复能力,但同时也增加了缓存的容量以及编解码器的复杂性。在GPRS无线网络带宽有限,而且波动较大的传输环境下,H.264标准的码率低、容错能力强、图像质量高和网络适应性强[42]的特点使得数据传输在一定程度上满足移动应用的要求。1.转发服务端设计转发服务端作为整个系统管理服务器,需要在其他部分运行之前执行,以便使管理员获得转发服务器的地址配置给视频采集端,使用户获得所需要的监控视频的连接。由于它同时也是移动客户端和视频采集端的纽带,因此它的设置对系统的性能非常重要,在第四章中系统实现的相关部分,将会对转发服务器的配置进行详细的讨论。经过编码压缩后的视频数据,以Internet作为传输媒介,传输给转发服务端。为了识别不同的监控场景,视频采集端将自己的标识一起发送给转发服务器,使得转发服务器按照不同的标识构建不同的虚拟场景。视频采集端通过建立与转发服务器的连接,构建虚拟的监控场景;每一个虚拟的监控场景对应于一个监控摄像头。移动客户端通过与转发服务器建立连接,请求相应的虚拟监控场景的视频信息。在转发服务器确认用户的合法身份之后,将对应于虚拟场景的摄像头的视频数据转发给该用户。视频采集端、转发服务端以及移动客户端的交互过程如图3-7所示。22 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图3-7转发服务器的顺序图Figure3-7SequenceDiagramofTransferServer1.实时监控端设计移动客户端的主要功能就是能够实时地监控目标场景。用户可以通过设置自己的登陆身份,添加允许该身份监控的监控场景,该厂经与转发服务器中所维护的虚拟场景相对应。当监控者选择某个目标场景后,移动客户端就发起了向转发服务器的连接。当转发服务器同意接受该连接后,移动客户端就以最初用户设定的登陆身份提交给转发服务器进行身份验证。当合法的身份被服务器验证之后,监控者希望看到的目标场景的视频数据就由视频采集端经过转发服务器传输至移动客户端。此时,移动客户端从GPRS无线网络上不断接收到视频流数据,并调用视频解码器,23 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文对视频流进行解码,构成实时地视频画面,回放在用户的移动设备上,如图3-8所示。图3-8转发服务器的顺序图Figure3-8SequenceDiagramofMobileClient由于移动客户端需要在不同的操作系统平台上运行相同的视频解码器,因此在移动终端上的解码器可以作为解码器引擎,成为相对独立的功能模块。系统采用动态连接库的方式将解码器封装在解码引擎当中,如图3-9所示。不同的平台在需要视频解码的时候,只需要调用解码引擎的相关接口,而内部的实现被完全移动监控Socket引擎解码引擎图3-9移动客户端引擎设计Figure3-9EngineDesignofMobileClient隐藏起来。这样既有利于信息封装和隐藏机制,又使得解码引擎功能的改变独立24 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文于移动客户端程序,从功能可扩展性和模块间耦合度方面考虑,都达到了良好的设计。1.远程控制功能设计为了使得用户在实施监控的同时能够尽可能全面的获得目标场景的全部信息,系统还提供远程控制功能,即用户通过移动设备终端控制场景中的监控摄像头的方向和焦距,以便获得不同角度和细节程度的场景信息。用户首先进入特定的监控场景,在实时监控的同时,如果用户拥有控制的权限,就可以通过移动设备的快捷键发出控制命令。移动客户端捕捉事件并形成相应的控制消息,与用户身份一起,经过Socket引擎发送给转发服务器。转发服务器首先验证用户是否具有控制该摄像头的权限,然后将控制消息解析成为合法的控制命令,发送给可控的摄像头。图3-10转发服务器的顺序图Figure3-10SequenceDiagramofMobileClient在控制过程中,由于移动客户端并不知道摄像头的地址,所以它并不能直接控制摄像头的动作,而需要通过转发服务器。转发服务器不仅维护了虚拟的监控场景,而且也拥有所有已经连接的用户的信息,这就使得它成为移动客户端和监控场景之间的纽带。不仅如此,将控制消息发送给转发服务器,而不是直接发送到摄像头,还可以缩短控制命令的延迟。这是因为:(1)移动客户端发送的控制消息是通过GPRS无线网络传输的,其带宽和网络的稳定性都与有线网络存在着一定的差距。通过转发服务器,可以减少控制消息在无线网络上传输的延迟和丢失的可能;25 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文(2)转发服务端的部署位置是可以选择的。它可以部署在与GPRS落地网关连接畅通的服务器之上,这样系统整体的传输速率,包括连接速率、视频传输速率和控制消息响应速率都有所提高。1.视频记录功能设计移动监控系统除了提供视频监控功能和远程控制功能之外,还需要支持传统的监控系统所拥有的视频录制功能,这是安全监控系统必须提供的。本系统不仅提供视频流的录制功能,可以记录场景中发生的整个过程;还允许用户对场景中的关键换面进行拍摄,以节省移动设备的存储容量。1.4.1视频流录制功能设计视频流的录制功能是与监控同步进行的。在用户通过移动客户端进行实时监控的同时,用户可以选择将相应的视频录制为流媒体文件。用户首先应设置录制文件的名称,系统每当从Socket引擎接收到视频数据,一方面将其传递给解码引擎,将数据解码为视频,实时回放出来,另一方面将为解码的数据直接保存到指定的文件中。这样系统自动将获得的视频编码数据流,存入该文件当中,同时实时监控功能仍然正常工作,如图3-11所示。图3-11录制过程Figure3-11SequenceDiagramofMobileClient26 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文将未解码的视频数据流保存至文档,可以减少对移动设备存储容量的需求。所有已经录制的视频流文件以列表的形式呈现给用户,在需要回放录制的视频流时,用户只需从列表中选择所要的视频流文件。系统将文件中的视频数据不断读入解码引擎中,然后进行解码回放,如图3-12所示。与实时监控的过程类似,所不同的是录制回放不经过网络,也不能进行实时的控制。图3-12回放过程Figure3-12SequenceDiagramofMobileClient1.照片拍摄功能设计视频流的录制虽然能够记录场景中的整个过程,但是长时间的视频流录制对于移动设备的存储容量提出了非常高的要求。为了解决记录与容量之间的矛盾,系统还支持照片拍摄的记录方式。用户可通过快捷键直接拍摄当前实时监控的画面,保存为图片文件。同时,为了能够连续拍摄,系统无需用户提供保存照片的文件名称,而是采用系统生成的文件名称。所拍摄的照片被统一存入媒体库当中,用户可以随时导航媒体库查看存档。27 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.小结本章对基于移动终端的视频监控系统进行了总体上的设计。从功能上看,本系统主要由实时监控功能、远程控制功能和视频记录功能组成。从结构上看,该系统由视频采集端、转发服务端和移动客户端构成。视频采集端负责视频数据源的采集、编码,专发服务端负责各个监控场景和监控者的管理,移动客户端可以使用户在任何时候任何地点进行实时的视频监控。28 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第四章移动视频监控系统的实现本章在前一部分设计的基础上,介绍了实时监控功能、远程控制功能和视频记录功能的实现。在实时监控实现中,主要涉及系统中的各个组成部分对于实时视频的处理过程,包括视频采集端对视频获取和编码压缩、转发服务器对监控场景的管理和移动客户端对视频数据的解码和实时播放。远程控制功能与转发服务器的部署有着密切的关系,因此在实现部分也做了相应的讨论。最后叙述了两种视频记录的方式:视频流录制和照片拍摄功能的实现。1.实时监控功能实现1.4.1视频采集端的实现视频采集端是与部署在监控场景的摄像头直接相连的系统组成部分,它是场景监控的视频源。它的主要功能是获得实时监控场景视频数据,利用编码器将视频画面实时地进行编码压缩,最后通过有限网络连接发送出去。视频采集端主要包括三个主要的功能类:CVideoCapture类、CVideoCodec类和CSenderSocket类。这三个类分别负责采集端三个功能之一,CVideoRecorderDlg类负责它们之间的相互协作,如图4-1所示。CVideoRecoderDlgCVideoCaptureCVideoCodec CSenderSocket获取实时视频画面编码压缩发送编码后的视频图4-1视频采集端的类图Figure4-1ClassDiagramofVideoRecorder一.CVideoCapture类CVideoCapture类负责捕获监控摄像头的实施画面,并存储在缓存中,如图4-229 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文所示。该类的状态和主要功能如下:CVideoCapturem_hWndCap:HWND m_bi:BITMAPINFO m_bPreView:BOOLShowWindow() PreView()IsPreView()Create()Stop()Start()CVideoCapture()<>~CVideoCapture()图4-2CVideoCapture类图Figure4-2CVideoCaptureClassDiagram1.视频采集窗口句柄(m_hWndCap):用来获取视频采集窗口的句柄标识。当采集端获取视频并经过编码后,需要通过该句柄将视频显示在采集端的窗口中;2.视频帧格式信息(m_bi):定义了视频桢的格式信息,包括位图信息结构的的指针和颜色的强度值;3.预览方式(m_bPreView):表明是否为预览方式;4.创建视频捕捉(Create()):创建视频采集窗口,设置视频采集的回调函数,并查找相应的视频驱动程序;5.开始视频捕捉(Start()):首先设置视频采集的相关参数,然后根据参数对视频数据进行实时的捕捉;6.预览模式(PreView()):以预览方式显示采集端活动的视频数据。二.CVideoCodec类CVideoCodec类是视频编解码器的实现类,如图4-3所示。它的主要作用是将视频画面以特定的编码格式,压缩成视频流,其功能主要功能有:1.4.1关键桢标记(m_bKeyFrame):以布尔值标明当前画面是否为关键桢;1.4.2输出缓存(m_pOutBuf):保存编码压缩后的视频数据的缓存区的指针;1.4.3压缩处理(StartCompress()、EndCompress()):将当前画面编码压缩,保存至输出缓存当中。StartCompress()首先打开视频实时编码器,然后获得压缩后视频格式长度,从视频驱动获得压缩后视频帧的输出格式;EndCompress()在压缩结束时释放资源;1.4.4解压缩处理(StartDeCompress()、EndDeCompress()):与压缩处理过程相类似,解压缩处理也需要打开视频解码器,获得解压视频格式大小,获得解压视频帧参数,获得解压后视频帧的大小,通知解压驱动准备解压视频数据;1.4.5桢压缩处理(CompressFrame()):对视频画面的每一桢进行压缩处理。30 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文CVideoCodecm_bKeyFrame:BOOL m_pOutBuf:BYTE*StartDeCompress() EndDeCompress() StartCompress()EndCompress()DeCompressFrame() CompressFrame() GetCVS()CVideoCodec()<>~CVideoCodec()图4-3CVideoCodec类图Figure4-3CVideoCodecClassDiagram三.CVideoRecorderDlg类CVideoRecorderDlg类将CVideoCapture、CVideoCodec以及CSenderSocket集成起来,共同完成从视频捕捉、视频编码到最终发送的全部过程,如图4-4所示。其功能主要功能有:CVideoRecoderDlgm_nCurFrame:DWORD m_nTime:DWORDm_pVideoBuf:char* m_pUserName:CString m_pPassword:CString m_pIpAddress:CString m_nPortNum:intAnalyzePacket()StartRecord()StretchLinear()SendVideoData()CloseSocket()ProcessPendingAccept() StopRec()CreateVideoWnd()<>OnStartRecord() <>OnStopRecord() <>OnVideoCompress() <>OnVideoData()图4-4CvideoRecorderDlg类图Figure4-4CvideoRecorderDlgClassDiagram1.帧序号(m_nCurFrame):表示当前帧序号;31 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文2.视频缓冲区(m_pVideoBuf):用来缓存当前视频压缩数据;3.用户名,密码(m_pUserName、m_pPassword):设置监控者登陆身份;4.转发地址(m_pIpAddress、m_nPortNum):设置转发服务器的IP地址和端口;5.录制处理(StartRecord()):设置录制初始化参数,并开始录制;6.解析处理(AnalyzePacket()):解析来自转发服务器的头信息;7.发送处理(SendVideoData()):将经过压缩处理的视频数据发送到转发服务器。1.4.1转发服务端的实现转发服务端主要实现了建立虚拟监控场景,管理登陆用户以及转发视频数据的功能。它是整个系统的集中管理部件。转发服务端主要包括三个主要的功能类:CVideoTransmitter类、CListeningSocket类和CClientSocket类。其中,CVideoTransmitter类主要负责建立和维护虚拟监控场景,使不同用户连结到各自请求的场景中。CListeningSocket类负责监听视频采集端和移动客户端发起的连接请求,并提交给CClientSocket类处理,其协作关系如图4-5所示。CMobileCameraTransmitterDlgCVideoTransmitterCListeningSocket CClientSocket图4-5转发服务端类图Figure4-5ClassDiagramofTransmitter一.CVideoTransmitter类CVideoTransmitter类根据视频采集端的连接请求建立虚拟监控场景,接受移动用户连接请求并验证用户权限,管理用户与监控场景之间的视频流转发,如图4-6所示。其具体功能如下:32 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.视频源连接(m_pVideoSourceSocket):接受视频采集端的连接请求,建立接受压缩视频的数据通道;2.用户连接表(m_connectionList):维护移动客户端的连接列表。每个移动客户端在被转发服务器验证后,都与转发服务端建立一个单播的连接,该连接被存储在m_connectionList中,并与特定的监控场景相对应;当用户断开连接,离开系统时,该连接就被从m_connectionList中删除;3.登录处理(MobileClientLogin()):移动客户端首先通过无线网络连接到转发服务端,并提供自己的身份。转发服务端通过MobileClientLogin()对经过验证的移动用户进行初始化;4.发送视频(SendVideo()):用户身份经过验证通过之后,由StartSession()将客户端加入到它所请求的监控场景的列表中。SendVideo()针对该场景的所有客户端连接发送该场景的实时视频;5.采集端注册(VideoSourceReg()):采集端工作时首先应在转发服务端注册,请求转发端提供相应的服务。VideoSourceReg()处理视频采集端的注册,并启动与视频采集端的数据交换。CVideoTransmitterm_bHaveVideoSource:BOOL m_connectionList:CPtrListm_pVideoSourceSocket:CClientSocketStartSession()SendStart()VideoSourceReg() MobileClientLogin() SendVideo()ProcessClose()ProcessAccept() StartSession()StopSession()CVideoTransmitter()<>~CVideoTransmitter()图4-6CVideoTransmitter类图Figure4-6CvideoTransmitterClassDiagram二.CListeningSocket类和CClientSocket类CListeningSocket类负责处理服务侦听视频采集端和移动客户端的连接,并将接受的连接创建为CClientSocket类的对象。CClientSocket类实现转发服务端和视频采集端、移动客户端的数据交互,如图4-7所示。1.4.1连接类型(m_nType):标明请求该连接的源端类型,若视频采集端请求的连接,则m_nType被设置为1;若移动客户端建立的连接,则被设置为0;33 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文2.输入缓存(m_chBuf[BUFFER_SIZE]):网络输入数据的缓冲区,并用m_nPos标明当前缓存中可用数据的位置;3.命令解析(AnalyzePacket()):解析该连接所获取的数据,以确定不同命令所对应的具体行为。对于视频采集端,该函数将视频放入缓存区当中,并通知CVideoTransmitter类,发送视频给客户端;对于移动客户端,该函数负责验证用户名和密码与所请求的监控场景的合法身份是否相符。CClientSocketm_nType:intm_chBuf[BUFFER_SIZE]:char m_nPos:intGetConnectIP()AnalyzePacket()<>OnClose()<>OnReceive()图4-7CClientSocket类图Figure4-7CClientSocketClassDiagram1.4.1移动客户端的实现移动客户端系统中关键组成部分,它通过部署在移动平台上,使整个系统的构架更加实用、灵活。移动客户端的基本功能包括:(1)创建监控摄像头。这个在移动终端创建的摄像头与转发服务端的虚拟监控场景相对应,在创建的同时,用户还须配置登陆到转发服务器所需要的用户名和密码。移动客户端需要将创建的监控摄像头的配置信息,如名称、用户名、密码等保存至相关的配置文件中;(2)显示当前所有可用的监控摄像头。由于每个摄像头对应于虚拟监控场景,而同一移动终端设备可以以不同的身份对多个场景实时监控,因此在进行实时监控之前,移动客户端就需要将所有可供监控的摄像头以列表的方式显示出来,供给用户选择。通过读取配置文件,移动客户端可以获得当前有效的所有监控摄像头;(3)连接GPRS无线网络,登录转发服务器。移动客户端在显示可用的监控摄像头的同时,也获得了对应于各个摄像头的用户名和密码等相关信息。通过GPRS无线网络与转发服务器建立连接后,移动客户端主动以用户名和密码向服务器标识自己的身份;(4)从GPRS无线网络上接收视频数据,用视频解码器将编码压缩过的数据解码为以桢为单位的画面,显示在移动设备上。在服务器验证身份合法之后,将34 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文用户请求的目标场景的视频转发给所有请求该目标场景的用户。移动客户端程序接收到视频,首先发送到解码器,然后将编码压缩的数据解码为图像桢,显示在屏幕上;(5)远程控制监控摄像头,使用户能够以不同角度、不同的细节程度监控到整个场景。移动客户端可以发出控制命令,经过转发服务器,解析后发送到摄像头,实施控制过程。由于监控场景的布局各不相同,单一摄像头的固定视野有限,因此使用可旋转式的监控摄像头可以减少摄像头的数目,同时提高了灵活性;(6)将视频数据流保存为文件形式,并回放。视频流的记录功能也是在移动客户端实现的,这使得用户在需要的时候可以记录所需要的视频。客户端程序将从Socket引擎获取的数据分别传送给解码器和文件服务器,在实时播放监控画面的同时,将数据保存在移动设备的存储设备上;(7)将视频画面保存为图片。视频数据流的保存使得记录功能对于移动设备的存储容量有很大要求,而画面的保存功能在很大程度上缓解了这一矛盾。用户可以通过快捷键迅速地将当前所看到的画面保存为图片。为了连续拍摄,移动客户端无需用户提供所保存的图片的文件名称,而是采用系统自动生成的名称,而所有拍摄的图片被保存在一个媒体库当中。由于本节主要介绍实时监控在移动客户端的实现,因此远程控制和视频记录功能的介绍将会在本章的其余章节中进行介绍。移动客户端基于WindowsCE平台和SymbianOSSeries60平台实现,其结构分别如图4-8、4-9所示。CVideoCodecCControlEngineVideoRecorderPictureRecorderCMobileCameraDlgCRecorderEngineCClientSocketCCameraListDlgCCameraSettingDlgCFile图4-8移动客户端WindowsCE平台类图Figure4-8ClassDiagramofMobileClientBasedonWindowsCE35 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图4-9移动客户端SymbianS60平台类图Figure4-9ClassDiagramofMobileClientBasedonSymbianS60一.创建监控摄像头用户首先创建监控摄像头,配置转发服务器的相应地址信息,设置对应的虚拟监控场景的用户名和密码,将其保存在本地文件中,其文件结构如图4-10所示。在SymbianS60平台上,所有的文件操作都是基于文件服务完成的。它提供了文件、流河存储来满足信息保存和检索的需求。通过RFs类型的句柄访问文件服务器,每个连接到文件服务器的RFs都要求一定层次的服务器端资源和系统资源。控制环境提供了文件服务器的永久句柄,用户帮助减少所需连接的文件服务器会话数量。虽然文件服务器会话确实提供了一个有用的API,但是它没有任何函数可用于读写文件,为了操作单个文件,需要一个RFile对象。这种类型的句柄称为子会话。而流则提供了外部化和内部化数据的简单方式,无论是否将该数据用于文件存储、内存或其他任意I/O设备均可。流负责将数据转换为合适的外部格式,其对象又可以细分为读入流RReadStream和写出流RWriteStream,分别完成文件的读入和写出功能。存储基本上是流的集合。存在大量不同类型的存储,每种都是为了满足特定的需求。所有的文件操作都是在文件服务器提供的异步服务的基础上完成的。36 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文摄像头名称用户名、密码摄像头项控制权限摄像头配转发服务置文件⋯⋯器地址摄像头名称用户名、密码摄像头项控制权限转发服务器地址图4-10摄像头配置文件格式Figure4-10CameraConfigurationFileFormat当用户选择打开所有摄像头列表时,移动客户端首先从配置文件中读取所有摄像头的设置,并依次将其初始化到摄像头列表当中,并显示给用户。二.用户登陆当用户从可用的摄像头列表选择需要监控的场景时,移动客户端自动登录到GPRS无线网络,建立与转发服务端的连接。通过该连接,客户端程序用配置文件中提供的用户名、密码,登陆到所需的场景中,其具体过程如下:voidMonitorCurrentCamera(char*aServerName,char*aUserName,char*aPassword,intaPort,inthasControl){CDocument*eikDoc=GetDocument();CMobileCameraDocument*aDoc=static_cast(eikDoc);aDoc->GetEngine()->ConnectToServer(aServerName,aUserName,aPassword,aPort,hasControl);//正在与服务器通信UpdateNaviLableL();TUidviewId;viewId.iUid=EMobileCameraPlayBackViewId;ActivateLocalViewL(viewId);}37 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文三.实时视频监控实时视频监控是本系统的核心功能。用户在通过转发服务器的身份验证,进入监控场景后,就可以通过GPRS无线网络,从服务器接收到实时的视频数据。在Symbian平台上,当客户端的Socket收到数据后,会调用CSocketEngine的ResponseReceive函数,在该函数中,首先将收到的数据进行解包,判断是什么类型的。若为“MT_SENDCOMMAND”,则表示服务器连接成功,会将用户名和密码发送到服务器端进行验证,同时将状态信息发送到CMobileCameraAppUi并最终显示在CMobileCameraPlayerViewContainer;若服务器验证成功会发回“MT_STARTSESSION”,表示用户登录成功可以开始接受视频数据,此时,将会初始化CVideoCodec,准备视频解码操作,同时通知CMobileCameraAppUi并最终显示在CMobileCameraPlayerViewContainer里面;真正的视频数据包含的包头为“MT_CASTDATA”,接收到后视频数据包后,还有一个需要注意的问题,需要等待一个关键帧才能开始正常的解码操作,否则将会出现异常。在调用CVideoCodec::Decompress()解码成功后,将会把数据传到CMobileCameraPlayerViewContainer进行显示,实现代码如下:voidAnalyzePacket(char*pBuf,intnLen,intnType,intpacketID){switch(nType){caseMT_SENDCOMMAND:{NET_COMMAND*nc=(NET_COMMAND*)(pBuf);if(nc->nCmd==NET_START){unsignedcharbuffer[400];MSGHEAD*head=(MSGHEAD*)buffer;CLIENT_LOGIN*sl=(CLIENT_LOGIN*)(head+1);head->chType=MT_CLIENTTLOGIN;char*userNamePtr=newchar[iUserName.Length()+1];userNamePtr=(char*)iUserName.Ptr();char*passwordPtr=newchar[iPassword.Length()+1];passwordPtr=(char*)iPassword.Ptr();}}caseMT_STARTSESSION:38 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文{m_bUserLogedin=ETrue;m_bDecInitiated=m_v2.Init(iPort);break;}caseMT_CASTDATA:{DATAHEAD*dh=(DATAHEAD*)(pBuf);if(dh->nType==DT_VIDEO){……m_v2.Decompress((char*)(dv+1),size,m_pBufShow)break;}}}WindowsCE平台上的过程与上述流程基本相似,所不同的是,从GPRS网络上接收到的数据不是直接由CSocketEngine针对不同的数据命令进行解析,而是由CMobileCameraDlg来完成。由于平台和设备的不同使得视频的现实分辨率有所不同,但是由于系统本身支持焦距的变换,因此,在分辨率较低的设备上,可以通过放大场景细节的方式,获得更加清晰的监控效果。1.视频解码引擎的实现为了使移动客户端程序在多种的移动平台上得以应用,系统需要在各种移动平台上进行开发。由于程序中的视频解码部分为系统的基本功能支持部件,需要应用于各个平台,因此将视频解码部分作为引擎提供给应用程序使用既可以减少程序开发的风险,增加系统的可靠性,又可以方便的扩充系统的功能。在引擎中,主要包括了对外接口、视频解码器、以及从引擎外读入数据或写出数据的类,如图4-11所示。外部接口都需要内部的类来实现。其中视频解码是通过CVideoDecoder来实现的。当视频数据到达移动客户端后,首先由CSocketReader读入CMobileCameraEngine对象中。CMobileCameraEngine对象将数据传递给本地回放引擎CLocalPlayBackEngine;若需要记录,CMobileCameraEngine还需要将自己收到的数据记录在文件中,该功能将在后面的实现部分介绍。CLocalPlayBackEngine负责对视频进行管理。当CVideoDecoder将视频解码为一桢画面后,由引擎的调用者显示出来。39 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图4-11MobileCamera的引擎类图Figure4-11ClassDiagramofMobileCameraEngine1.远程控制功能实现为了全面的覆盖监控场景,使用户能够实时地监控到所需要的位置,系统实现了控制功能。用户通过手机等移动设备,通过发出控制命令,经过转发服务器,解析后发送到摄像头,实施控制过程。1.4.1摄像头控制的实现移动客户端定义了一套用户按键和摄像头转动的对应表,如表4-1所示。当用户按下手机上的某个键时,将该按键信息转换为控制命令,并发送到转发服务器,并由转发服务器将该控制命令解析为具体的控制过程,然后通过HTTP协议转发到摄像头,进行相应的控制动作。移动客户端程序首先捕获用户的按键信息,系统会调用OfferKeyEventL()函数,并将所按键的信息以参数的方式传递给该函数,由它构造控制命令消息,通过网络发送给转发服务器。转发服务器接收到控制命令,首先解析该命令,以确认是摄像头控制命令。40 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文表4-1按键与转动方向的对应表Table4-1MapTableBetweenKeyandControl按键控制方向2向上8向下4向左6向右0复位1放大3缩小在进一步由ProcessContent()确认控制消息的具体内容,根据控制命令向摄像头发送具体指令,如下述代码所示:voidProcessContent(char*pBuf,intnLen,intnType){CInternetSessionsession("ControlSession");CHttpConnection*pServer=session.GetHttpConnection(m_strCamIP,INTERNET_PORT(PORT));CHttpFile*pHttpFile=pServer->OpenRequest("POST","/command/presetposition.cgi");switch(nType){case0://Reset{strcpy(requestData,"HomePos=ptz-recall");pHttpFile->SendRequest(NULL,0,requestData,strlen(requestData));break;}case1://ZoomIn{strcpy(requestData,"Move=tele,8");pHttpFile->SendRequest(NULL,0,requestData,strlen(requestData));ZeroMemory(requestData,1024);pHttpFile=pServer->OpenRequest("POST","/command/ptzf.cgi");strcpy(requestData,"Move=stop,zoom");pHttpFile->SendRequest(NULL,0,requestData,strlen(requestData));break;}case2://TurnUp{strcpy(requestData,"AreaZoom=0,-48,0,0");pHttpFile->SendRequest(NULL,0,requestData,strlen(requestData));break; }41 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文case3://ZoomOut……}}1.转发服务器的部署由于转发服务器负责连接不同的监控场景和移动客户端的信息交换,因此其稳定性直接关系到系统的可用性。使用单独的转发服务器将场景视频转发到各个移动终端、传递移动终端的控制命令给监控摄像头,连接数目收到服务器性能的制约,而且移动用户长时间的连接,使服务器的负载达到极限,而无法承担更多的连接。若使用多个转发服务器传输视频数据,客户端程序需要对各个服务器进行连接尝试,以获得有效的连接。然而,这使得移动客户端的连接延迟随着服务器的增加而大幅增加,无法有效地获得使系统性能达到较优配置的服务器地址,而且服务器的利用率也有限。为了解决上述问题,系统引入查询代理服务器,如图4-12所示。当转发服务器处于工作状态时,首先需要向查询代理服务器注册自身的地址信息,以便查询代理将对应的移动客户终端制定给该转发服务器。监控场景与转发服务器建立连接后,转发服务器需要将其所转发的监控场景通知查询代理。查询代理123转发转发转发服务器1服务器2服务器3图4-12转发服务器部署Figure4-12VideoTransmitterDeployment当移动终端用户需要进入系统实时监控时,客户端首先连接查询代理,查询代理服务根据用户所要连接的监控场景和转发该监控场景的服务器的连接负载状况,将负载相对较轻的转发服务器地址信息发送给用户,然后就与移动客户端断开连接。为了保证信息传输的可靠性,该传输采用TCP协议连接。移动客户端获得了转发服务器的地址和端口信息就可以顺利的进入它请求的监控场景中。通过42 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文引入查询代理的结构,查询代理拥有各个服务器上所转发的监控场景以及各服务器当前的连接负载情况,还可以动态改变指定的服务器的具体策略。由于移动客户端与查询代理的连接是瞬时的查询会话,因此查询代理服务器的连接基本不会有超过其负载能力的情况发生。当转发服务器的连接超过其负载能力时,还可以动态地增加转发服务器。此时在查询代理所维护的已注册服务器列表中,就增加了一台转发服务器的地址信息可供分配。1.视频记录功能实现视频监控系统的一个重要功能就是能够提供用户记录监控的场景所发生的事情,以便在需要的时候进行查看。本节主要介绍移动实时视频监控系统中,记录功能的两种实现方式:流录制和拍摄。1.4.1视频流录制的实现视频流的录制是将场景中发生的事情的全过程记录下来的一种方法。它是在移动设备上实现的。因此需要移动设备提供当对应的存储支持和文件操作支持。系统中,客户端是基于SymbianS60和WindowsCE移动平台的。SymbianS60平台上文件系统的设计为非常类似于DOS/Windows文件系统的方式进行操作。完全限定文件名一般最多有四个组成部分:驱动器名:单个字母,后面带有一个冒号;路径:从根目录或者绘画的当前目录开始,使用一个反斜杠分隔文件夹层次结构的每一层;文件名:为文件制定的标识;文件扩展名:前面带有点以与文件名相分隔。SymbianS60与DOS文件系统之间最重要的区别是,任何完全限定文件名(包括驱动器名、路径、文件名和扩展名)都不可以超过255个字符。也就是说,任何文件的完全限定文件名必定完全可以放在TFileName对象中。和DOS一样,文件系统可以保存大小写,但并不区分大小写。在大多数SymbianOS平台上,C:是主要的系统驱动器(闪存文件系统),其中存储了所有的用户数据和系统文件;Z:是ROM驱动器;可移动驱动器通常映射为D:或后面的盘符,在Series60平台上E:盘通常映射为可移动驱动器。用户首先登陆到监控场景,在实时监控的同时,通过CMobileCameraPlayBackView类的菜单项选择发出监控命令。系统提供设置文件名对话框,再把所设置的文件名传递给CMobileCameraEngine引擎,由它来实现录制过程。43 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文CMobileCameraEngine类首先连接文件服务RFs,然后将接收到的文件名称与存储路径一起构成录制文件的完全限定文件名。在CMobileCameraEngine引擎解码视频数据之前,确认用户是否需要保存视频流文件。然后以文件流的形式将为解码的视频数据写入指定的文件。同时将数据发送到解码器CVideoDecodec类,用于解码回放。WindowsCE的文件系统是一种灵活的模块化设计,它允许自定义文件系统、筛选器和多种不同的块设备类型。文件系统和所有与文件相关的API都是通过FileSys.exe进程来管理的。这个模块实现了对象存储和存储管理器,并将所有文件系统统一到一个根“”下面的单个系统中。因此,WindowsCE文件系统体系结构是灵活的和可扩展的,并且支持:多个块设备;每个块设备支持多个分区;每个分区支持不同文件系统;将外部设备文件系统作为根系统装入。在WindowsCE中,所有文件和文件系统都存在于从“”作为根开始的单个命名空间中。所有文件均以在层次结构树中从根开始的唯一路径进行标识。这类似于Windows,只是没有驱动器号。在WindowsCE中,驱动器作为文件夹装入根的下面。因此,添加到系统中的新存储卡将装入树的根中,其路径类似于“StorageCard”。WindowsCE平台的实现过程与Symbian平台基本类似,它分析接收到的数据,根据数据头确定视频编码的类型如H.264标准,将视频标准头部写入文件,供文件读取时获得初始化参数。文件头后面是压缩视频数据,每当写入一个视频数据包之后,就以“0000”作为结束标志,如下代码所示。标识文件结束。接下来的数据覆盖前一次写入的文件结束标志,使视频文件随时可以结束。voidVideoRecord(char*pBuf,intnLen){DATAHEAD*dh=(DATAHEAD*)(pBuf);DATAVIDEO*dv=(DATAVIDEO*)(dh+1);if(dv->bKeyFrame&&m_bRecording){m_bFirstRecording=ETrue;m_bWrite264Header=ETrue;}if(m_bRecording&&m_bFirstRecording){44 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文if(m_bWrite264Header){WriteH264Header(m_cf);m_bWrite264Header=EFalse;}sfile.seek(m_cf,-4,SEEK_CUR);if(dv->bKeyFrame)sfile.write(typeKey,4,1,m_cf);elsesfile.write(typeNotKey,4,1,m_cf);sfile.write(&size,4,1,m_cf);sfile.write((char*)(dv+1),size,1,m_cf);sfile.write("0000",4,1,m_cf);}}1.视频流回放的实现录制视频流文件是为了能够永久保存监控场景发生的全过程,以便在需要的时候回放。视频文件的回放于网络上接收到视频数据回放的过程类似,都是获得编码压缩后视频数据,由视频解码器CVideoDecoder进行解码,然后将解码后的画面显示出来。所不同的是,视频流文件的回放是从文件读出的数据,而不是由网络连接传输的数据。CVideoDecoderCMobileCameraCFileCClientSocket图4-13视频流回放类图Figure4-13ClassDiagramofVideoPlayBack尽管文件回放与实时监控的数据获取途径有所不同,但是对于解码器CVideoDecoder来说并无任何区别,由于数据读取函数了解所有的读取细节,如45 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图4-13所示。视频回放是对记录当时场景的一个完全复制。因此,视频文件与记录当时所监控到的场景一致。但是视频回放由于并非实时监控,因此不需要无线网络连接,也不能实施远程控制。1.屏幕拍摄的实现视频记录的另一种方式是屏幕的抓拍。在播放实时监控画面的同时,用户对当前的画面可以进行快速抓拍。用户首先登陆到监控场景,在实时监控的同时,通过快捷键向CMobileCameraPlayBackView类发出监控命令。系统捕获该命令,并调用相应的处理函数SnapShot()。SnapShot()函数首先检查当前的抓拍命令是否有效,连接文件服务RFs,然后将接收到的文件名称与存储路径一起构成录制文件的完全限定文件名。在CMobileCameraEngine引擎解码视频数据之前,确认用户是否需要保存视频流文件。然后以文件流的形式将为解码的视频数据写入指定的文件。同时将数据发送到解码器CVideoDecodec类,用于解码回放。boolSnapShot(CFileaPicName){if(m_bSnapShot){_LIT8(KMimeType,"image/bmp");_LIT(KBmpFileName,"c:\Nokia\Images\MOBILECAMERA.bmp");RFsiFs=CEikonEnv::Static()->FsSession();CImageEncoder*iEncoder=CImageEncoder::FileNewL(iFs,KBmpFileName,KMimeType,CImageEncoder::EOptionAlwaysThread);TRequestStatusStatus;iEncoder->Convert(&Status,*m_pBmp);User::WaitForRequest(Status);bSnapShot=false;}return!bSnapShot;}1.4.1小结本章主要介绍了移动实时监控系统的实现细节。根据功能的不同,本章首先46 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文介绍了实时监控功能的实现,其中包括视频采集端、转发服务端和移动客户端类以及类之间关系的设计。为了使用户能够更加全面的获得目标场景的信息,本章还介绍了通过移动设备,在实时监控的同时进行远程控制摄像头的实现。这样对于移动设备有限的显示屏幕而言,摄像头的控制功能在一定程度上,满足了用户对场景细节信息的监控需求。视频的录制功能的实现也是监控系统的重要组成部分。对于移动设备不仅提供视频流的录制,而且还支持视频画面的拍摄功能,以相对较小的存储容量保存关键视频画面信息。47 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第五章系统运行环境及展示本章主要介绍移动实时监控系统的运行环境以及运行结果展示。运行环境包括系统各个组成部分的配置,并以图示辅助说明其操作步骤。1.转发服务端1.4.1转发服务端运行环境移动服务端运行于WindowsXP、Windows2003Server操作系统。在实时场 景监控时,其系统占用约为表5-1所示。表5-1转发服务端系统占用数据Table5-1TransmitterSystemUsage系统资源总量占用量资源种类CPU2.8GHz3%内存1GB1.94MB网络100Mbps20Kbps/连接该表所示的数据是在统计结果上给出的,网络占用量随着移动客户端连接的数目而增加,以下数据类同。1.4.2转发服务端展示系统的运行首先由转发端的服务开始。转发服务端运行于独立地址的服务器 上(服务器IP地址:202.120.38.227,位于上海交通大学的网段IP地址)。打开 直播服务器程序,并启动服务。如图5-1所示:图5-1转发服务器程序界面Figure5-1InterfaceoftheTransmitter48 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.视频采集端1.4.1视频采集端运行环境视频采集端是部署在监控场景中负责实时画面捕获的程序。它的运行环境与 转发服务器相似,可以运行于WindowsXP等桌面操作系统。其系统占用约为表 5-2所示,其运行界面如图5-2所示。表5-2视频采集端端系统占用数据Table5-2VideoRecorderSystemUsage系统资源总量占用量资源种类CPU2.8GHz10%内存1GB9.04MB网络100Mbps20Kbps图5-2视频采集端程序主界面Figure5-2InterfaceoftheVideoRecorder1.4.2视频采集端展示视频采集端可以通过摄像头获得视频画面。但是,如果转发端没有启动转发 服务时,视频采集端就无法注册到转发服务器上,使其场景数据被移动客户端所 接收。此时,视频采集端会提示管理员连接发生错误。当转发服务器启动服务后,通过注册到转发服务端,视频采集端可以正常工作。其具体设置步骤如下:1.选择菜单Options->Compression,进行压缩参数设置,如图5-3所示;49 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图5-3选项菜单界面Figure5-3InterfaceofOptionsMenu2.在“视频压缩”对话框中的“压缩程序”选择“J264–H264/AVCencoder”, 并单击配置按钮,进行具体参数的设置,如图5-4所示;图5-4视频压缩界面Figure5-4InterfaceofVideoCompression图5-5压缩参数配置界面Figure5-5InterfaceofCompressionParameterConfiguration50 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文3.在配置信息对话框中进行相应设置,例如码率设置为20kbits,选择质量优 先控制,并配置连贯性为80,如图5-5所示。单击确认,回到主界面; 4.选择主界面菜单Recording->StartRecording,开始视频采集,如图5-6 所示;图5-6录制菜单界面Figure5-6InterfaceofRecordingMenu5.连接转发服务端。在开始录制的时候,需要采集端提供用户名、密码和所 用的转发服务端的地址,其设置界面如图5-7所示;图5-7登录设置界面Figure5-7InterfaceofRecorderRegister在设置完成之后,点击确定按钮,视频采集段就将其采集的目标监控场景信息实时的传递给转发服务端。1.移动客户端1.4.1移动客户端运行环境移动客户端运行于WindowsCE平台和SymbianS60移动平台上,并以无线网络作为其连接的数据通道。其中Dopod818采用WindowsCE平台,而Nokia7610采用SymbianS60移动平台,其运行界面分别如图5-8、5-9所示。51 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图5-8WindowCE平台运行界面图5-9SymbianS60平台运行界面Figure5-8InterfaceonWindowsCEPlatformFigure5-9InterfaceonSymbianS60Platform1.移动客户端展示移动客户端是集实时监控、远程控制和视频记录于一体的监控终端。客户端通过连接GPRS无线网络,选择需要监控的场景,控制摄像头的方向和焦距,并在需要的情况下录制视频。其操作步骤如下:进入手机功能表,选择运行远程监控程序,如图5-10所示。在进入程序后,客户端通过读配置文件显示当前监控摄像头列表,如图5-11所示。图5-10远程监控应用程序图5-11监控摄像头列表Figure5-10MobileCameraApplicationFigure5-11MonitoringCameraList52 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图5-12GPRS无线网络连接图5-13验证用户信息Figure5-12GPRSNetworkAccessPointFigure5-13UserInformationValidation选择需要监控的场景,如“交通大学会议室”,程序要求指定网络接入点,此时选择GPRS连接互联网,如图5-12所示。连接建立后,监控客户端提供自己的身份,等待转发服务端验证,如图5-13所示。系统经过确认身份为授权用户后,将压缩视频传输给移动客户端,经过视频解码,回放在手机的显示屏上,如图5-14所示。移动设备的系统处理能力相对于桌面系统有比较明显的差距,因此实施监控时系统CPU占用约为35%-40%左右,如图5-15所示。图5-14实时监控界面图5-15CPU占用量Figure5-14Interfaceofreal-timesurveillanceFigure5-15CPUUsePercent在实时监控的同时,移动手机端可以通过手机按键对摄像头进行控制,图5-16所示左转摄像头获得的场景画面,图5-17所示放大场景细节的场景画面。53 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文图5-16摄像头控制(左转)图5-17摄像头控制(放大)Figure5-16RemoteControl(TurnLeft)Figure5-17RemoteControl(ZoomIn)在用户需要录制场景的环境时,可以通过菜单选项进行录制,如图5-18所示。用户首先需要提供保存的文件名称,如图5-19所示。录制过程中同步回放视频数据,并提示监控录像中,如图5-20。用户可以通过菜单停止录制,如图5-12所示。图5-18录制摄像头菜单图5-19保存文件名Figure5-18RecordMenuFigure5-19InputFileName图5-20监控录像界面图5-21停止录制菜单Figure5-20InterfaceofRecordingFigure5-21StopRecordingMenu54 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文录制结束后,用户可以在媒体库中看到已录制的文件列表,如图5-22所示。选择列表中的文件,可以回放录制的场景,如图5-23所示。与实时监控不同的是,系统提示用户当前状态为监控录像回放,并且不具有远程控制功能。图5-22录制文件列表图5-23回放录制文件Figure5-22RecordFileListFigure5-23PlayBackRecordFile监控同时还可以对实时画面进行抓拍,并保存在媒体库当中。通过系统菜单可以进入抓拍文件加列表,如图5-24所示。选择特定文件,可以查看其具体内容,如图5-25所示。图5-24抓拍图像菜单图5-25查看抓拍屏幕Figure5-24SnapshotMenuFigure5-25SnapshotScreenView1.小结本章介绍了移动实时视频监控系统的运行环境,并展示了系统的配置和操作步骤。系统的视频采集端运行之前,首先需要转发端提供传输服务。采集端以特55 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文定的身份注册在某个转发服务器上,并对其视频编码压缩进行相关的配置,开始采集目标场景的视频。移动客户端基于WindowsCE和SymbianS60移动平台,通过登陆转发服务期与特定的监控场景相对应,实时地监控场景信息。与此同时,用户还可通过移动终端进行远程控制和视频录制功能。56 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文第六章总结与展望1.本文的主要工作日益迫切的安全需求对视频监控系统提出了越来越高的要求,不仅而且要求系统能够提供视频捕获、数字化传输、监控回放等基本功能,还需要在移动性和可控性方面提供良好的支持。移动终端计算能力的不断提高和无线网络的迅猛发展,使得分布于移动终端的嵌入式应用也受到了显著的重视,也为移动智能终端上的应用提供了广阔的前景。同时,智能终端也不仅仅局限于传统的语音和文本处理,对于多媒体的处理能力也有很大的增强,出现了基于多媒体的应用。嵌入式操作系统为再开发提供了平台,使得人们可以便捷而高效地开发适于特定的场合的应用,其中包括视频监控系统。为了弥补传统监控系统在移动性和灵活性方面的不足,简化系统部署的复杂程度,本文设计并开发基于移动终端的实时监控系统。本论文的主要工作包括:第一.基于GPRS无线网络以及WindowsCE和SymbianS60智能移动平台设计并实现了一个实时监控系统。监控场景中的视频画面由采集端捕获,并进行实时的编码压缩,将其发送给管理目标场景的转发服务端。转发服务端根据不同的采集端建立虚拟的监控场景,并维护各个虚拟场景中监控者的列表,并为列表中的每一用户提供视频转发服务。移动客户端可以随时通过GPRS无线网络接入监控系统中,通过转发服务其获得所需监控场景的视频数据,并在移动手机端解码播放。第二.将远程控制引入移动实时监控系统。为了使得用户在实施监控的同时 能够尽可能全面的获得目标场景的全部信息,系统还提供远程控制功能,即用户 通过移动设备终端控制场景中的监控摄像头的方向和焦距,以便获得不同角度和 细节程度的场景信息。第三.设计并实现了移动终端的视频记录功能。视频监控系统的一个重要功 能就是能够提供用户记录监控的场景所发生的事情,以便在需要的时候进行查看。 本系统综合视频记录的需求和移动设备的存储容量,设计并实现了两种方式的记 录功能:流录制和拍摄。57 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文1.有待进一步解决的问题本论文所设计并实现的实时移动监控系统不仅可以应用于场馆安全监控,而且适用于学校考试时的巡考、监护老幼等中小型环境。但是,还有如下方面可以进一步研究并改进:1.4.1视频数据编解码技术的改进:本系统中所采用的视频编解码技术是一种单一的编码方式。而移动设备的种类各异,并具有不同的处理能力和显示能力。因此,采用分层编码技术,对不同显示能力的移动设备来说,可以获得不同的视频质量,从而优化了视频图像的监控效果;1.4.2传输协议的改进:本系统为了保证屏幕数据不丢失,采用了TCP协议连接进行实时视频流的传输。虽然TCP协议可以在数据丢失的情况下采用重传机制来保证数据的可靠传输,但是其同时对实时数据流的传输有较大的时间延迟,限制了视频的流畅性。可采用RTSP(RealTimeStreamingProtocol)进行视频传输;1.4.3识别功能的扩展:将人脸监测和人脸识别技术应用于实时移动监控系统,使得系统能够自动识别可疑人员,并将其图像自动保存在服务端或以,用于记录场景信息;1.4.4报警功能的扩展:在人脸识别的基础上,还可以在系统中进一步增加报警功能,利用现有的SMS(ShortMessageService)系统,在有异常情况发生的特定环境下,向监控者发出报警信息,从而在系统中增加了智能处理能力。58 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文参考文献【1】Chen,Y.,Petrie,C.,UbiquitousMobileComputing,IEEEInternetComputing7,200316–17.【2】TimoHalonen,JavierRomero,JuanMeleroGSM,GPRSandEDGEPerformance:Evolutiontowards3G/UMTS,PrenticeHall,2003.【3】R.T.Collins,A.J.Lipton,andT.Kanade,ASystemforVideoSurveillanceandMonitoring,AmericanNuclearSocietyEighthInternationalTopicalMeetingonRoboticsandRemoteSystems,Pittsburgh,PA,1999.【4】Sheng-TunLi,Huang-ChihHsieh,Ly-YenShue,Wen-ShenChen,PDAWatchforMobileSurveillanceServices,KnowledgeMediaNetworking,2002Proceedings,IEEEWorkshopon,2002.【5】D.Agrafiotis,T-KChiew,P.Ferre,D.RBull,A.R.Nix,A.Doufexi,J.Chung-HowandD.Nicholson,SeamlessWirelessNetworkingforVideoSurveillanceApplications,ImageandVideoCommunicationsandProcessingConf.,SPIESymposiumonElectronicImaging,SanJose,CAUSA,January2005.【6】Y.Dhondt,P.Lambert,S.Notebaert,R.VandeWalleb,FlexiblemacroblockorderingasacontentadaptationtoolinH.264/AVC,ProceedingsofSPIEOpticsEastConference,2005.【7】NickGrattan,MarshallBrain,《WindowsCE3.0ApplicationProgramming》【8】DouglasBoling,《ProgrammingMicrosoftWindowsCE.NET》ThirdEdition【9】www.microsoft.com/windowsmobile/developers/default.mspx【10】www.symbian.com/【11】《SymbianOSC++forMobilePhones》WILEYRichardHarrisonetc【12】SymbianOS:ActiveObjectsAndTheActiveScheduler:www.forum.nokia.com【13】SymbianOS:GettingStartedwithC++ApplicationDevelopment.【14】SymbianOS:CodingConventionsinC++:www.forum.nokia.com【15】《DevelopingSeries60Applications》AddisonWesleyLeighEdwardsetc.【16】Series60UIStyleGuide:www.forum.nokia.com【17】PeterStuckmann,NielsEhlers,BiancaWouters:GPRSTrafficPerformanceMeasurements.0-7803-7467-3/02/2002IEEE.【18】AKSalkintzis,CFors,RPazhyannur,WLAN-GPRSintegrationfornext-generationmobiledatanetworks,IEEEWirelessCommunicationsMagazine.Vol.9,no.5,pp.112-124.Oct.2002.【19】Hampapur,A.,etal.,IBMSmartSurveillanceSystem,IEEEComputerVisionandPatternRecognition,Demonstration,Washington,DC,June28-30,2004.【20】A.Hampapur,L.Brown,J.Connell,S.Pankanti,A.W.Senior,andY-LTian,SmartSurveillance:Applications,TechnologiesandImplications,IEEEPacific-RimConferenceOnMultimedia,Singapore,Dec.【21】J.Ostermann,J.Bormans,P.List,D.Marpe,M.Narroschke,F.Pereira,T.StockammerandT.Wedi,VideoCodingwithH.264/AVC:Tools,Performance,andComplexity,IEEECircuitsandSystems,Vol.4,No.1,2004.59 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文【22】J.MeguroandJ.Takiguchi,etal,DevelopmentofanAutonomousMobileSurveillanceSystemUsingaNetwork-basedRTK-GPS,IEEEInternationalConferenceonRoboticsandAutomation,April2005.【23】A.Goradia,N.Xi,Z.Cen,M.Mutka,ModelingandDesignofMobileSurveillanceNetworksUsingaMutationalAnalysisApproach,InternationalConferenceonIntelligentRobotsandSystems,2005.【24】X.Cai,F.H.Ali,E.Stipidis,MPEG4overlocalareamobilesurveillancesystem,IntelligenceDistributedSurveillanceSystems,IEESymposium,2003.【25】T.Kanade,R.Collins,A.Lipton,P.Burt,andL.Wixson,Advancesincooperativemultisensorvideosurveillance,InProceedingsofthe1998DARPAImageUnderstandingWorkshop,volume1,pages3–24,November1998.【26】Buyukkokten,O.,Garcia-Molina,H.,andPaepcke,A.,FocusedWebSearchingwithPDAs,ComputerNetworks,33,2000,pp.213-230.【27】L.Petersson,L.Fletcher,N.Barnes,A.Zelinsky,Aninteractivedriverassistancesystemmonitoring,IEEERoboticsandAutomation,2004.【28】B.L.Tseng,C.Y.Lin,J.R.Smith,Real-timevideosurveillancefortrafficmonitoringusingvirtuallineanalysis,MultimediaandExpo,2002.【29】B.F.Wu,H.Y.Peng,C.J.Chen,Anencryptedmobileembeddedsurveillancesystem,IntelligentVehiclesSymposium,Proceedings.IEEE,2005.【30】J.Ostermann,J.Bormans,P.List,D.Marpe,M.Narroschke,F.Pereira,T.StockammerandT.Wedi,VideoCodingwithH.264/AVC:Tools,Performance,andComplexity,IEEECircuitsandSystems,Vol.4,No.1,2004.【31】ITU-TRecommendationP.910,Subjectivevideoqualityassessmentmethodsformultimediaapplications,September1999.【32】G.Hauske,T.Stockhammer,R.Hofmaier,SubjectiveImageQualityofLow-rateandLow-ResolutionVideoSequences,Proc.InternationalWorkshoponMobileMultimediaCommunication,Munich,Germany,Oct.5-8,2003.【33】S.Winkler,F.Dufaux,VideoQualityEvaluationforMobileApplications,ProcofSPIEConferenceonVisualCommunicationsandImageProcessing,Lugano,Switzerland,vol.5150,pp.593-603,July2003.【34】T.Wiegand,G.J.Sullivan,G.Bjontegaard,G.;A.Luthra,OverviewoftheH.264/AVCVideoCodingStandard,IEEETransactionsonCircuitsandSystemsforVideoTechnology,vol.13,no.7,pp.560-576,July2003.【35】H.S.Malvar,A.Hallapuro,M.Karczewicz,L.Kerofsky,Low-complexitytransformandquantizationinH.264/AVC,IEEECircuitsandSystemsforVideoTechnology,1.【36】T.Stockhammer,M.M.Hannuksela,T.Wiegand,H.264/AVCinwirelessenvironments,IEEECircuitsandSystemsforVideoTechnology,2003.【37】S.Wenger,M.M.Hannuksela,T.Stockammer,M.Westerlund,andD.Singer,InternetDraft-RTPPayloadFormatforH.264,April2004.【38】G.J.Sullivan,P.N.Topiwala,A.Luthra,TheH.264/AVCAdvancedVideoCodingStandard:OverviewandIntroductiontotheFidelityRangeExtensions,ProceedingsofSPIE,2004.【39】D.Marpe,H.Schwarz,T.Wiegand,Context-basedadaptivebinaryarithmeticcoding60 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文intheH.264/AVCvideocompressionstandard,IEEECircuitsandSystemsforVideoTechnology,2003.【40】A.Luthra,G.J.Sullivan,T.Wiegand,I.Motorola,IntroductiontothespecialissueontheH.264/AVCvideocodingstandard,IEEECircuitsandSystemsforVideoTechnology,2003.【41】G.J.Sullivan,T.Wiegnad,VideoCompression—FromConceptstotheH.264/AVCStandard,ProceedingsoftheIEEE,2005【42】M.Etoh,T.Yoshimura,Advancesinwirelessvideodelivery,ProceedingsoftheIEEE,200561 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文致谢首先我要感谢我的导师申瑞民教授。在硕士阶段的生活、工作和学习上,他不断地给与我支持和鼓励。他以他严谨的治学态度,广博的学识,宽广的视野,敏锐的观察力给我在学习研究上的指导,使我的学习研究工作受益匪浅,他不仅教会我怎样发现问题,怎样不断紧跟学术研究前沿,如何撰写学术论文;更以他高尚的人格魅力教育和影响着我。申老师还经常教导我们怎样为人处世,他勤奋的工作作风,遇事勤于思考的学习和工作态度,积极进取的勇气和魄力给我的人生带来了宝贵的精神财富。在此我要向申瑞民教授表示我诚挚的谢意。在此,我要感韩鹏博士和童任同学,他们在我日常的学习生活中给予了巨大的帮助和关怀。他们脚踏实地的做人风格,勤勤恳恳的工作作风都给我的人生以启迪。同时,还要感谢我所在的上海交通大学E-Learning研发中心的全体同事及同学,与他们的讨论总能让我受益匪浅,在工作和生活中给予我了巨大的帮助,他们是王加俊,张同珍,陈刚,徐奇,李鹤廷,曾义,许是峰,李灵宁,唐徙文,张志强,王砚志等。在漫长的学习生涯中,最难忘的是父母无私的爱。他们一直是默默无语,辛勤工作,他们不仅在物质方面保证我生活的需要,而且在精神方面也总是给予我力量和勇气,使我能直面对困难,勇往直前。我的硕士论文凝聚着他们的长期支持,我对他们在我成长道路上所付出的艰辛和汗水致以真诚的感谢。62 基于移动终端的实时场景监控系统设计与实现上海交通大学硕士学位论文攻读硕士期间发表的学术论文及参与的项目发表论文(1)齐鸿儒,童任,韩鹏,“实时移动监控系统的设计与实现”,计算机仿真,已录用。(2)HongruQi,RuiminShen,RenTong,“TheDesignandImplementationofanInteractiveMobileLearningSystem”,AdvancedLearningTechnologies,2006.SixthInternationalConferenceon05-07July2006Page(s):947-951参与项目1.上海市科学技术委员会项目:“面向世博场馆的实时移动监控系统研究”(项目编号:05DZ05837)2.上海市科学技术委员会项目:“移动多媒体教育应用服务系统开发”(项目编号:03DZ15016)63

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
关闭