基于hadoop的远程教育平台

《基于hadoop的远程教育平台》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、类训板去学院：物电院专业班级:姓名：MRKANG学号:基于hadoop的远程教育平台一、课题简介远程教育资源具有数据量大，增长迅速的特点，对这些海量数据资源进行低成本存储和基于内容的高效检索，是远程教育云平台建设面临的一大难题。基于Hadoop设计远程教育海量资源进行存储和检索的方法，通过搭建高性能的计算环境，实现快速存储、分发和推送海量数字化资源，实现高质量的远程教学传输力，为用广提供一个个性化、一站式、一体化的学习环境和工作环境，支持个性化学习和因材施教，促进学习者高级思维能力和群体智慧的发展，提高教育质量。Hadoop是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况

2、下，幵发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有着高容错性的特点，并且设计用來部署在低廉的(low-cost)硬件上。而且它提供高传输率(highthroughput)来访问应用程序的数据，适合那些存着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以流的形式访问(streamingaccess)文件系统中的数据。使用hadoop來构建远程教育平台，包括数据中心和智能用户终端两部分。

3、针对“目前的教育资源库存在着资源共享程度低、教育资源不全面、不系统、各自为战等不利现象”，提出“利用云计算的集中存储方式，将所有数据存储在规模庞大的数据中心和服务器群中”的思路。二、内容和思路要使用hadoop必须先了解丼基本架构及开发过程。lladoop是项目的总称，主要是由分布式存储(HDFS)、分布式计算(MapReduce)组成。MapReduce是一个编程模型，处理和产生大数据集。使用这个模型写出的程序自动在一个大集群上并行执行。运行时系统负责分割输入数据/分配程序在不同的机器上运行/处理机器出错/管理机器间的通信Hadoop的开发过程力:1.编写map和reduce函数2.

4、运行测试3.命令行运行4.eclipse运行.5.查看结果Map函数如下:publicstaticclassTokenizerMapperextendsMapper{privatefinalstaticIntWritableone=newIntWritable(l);privateTextword=newText();publicvoidmap(Objectkey,Textvalue,Contextcontext)throwslOException,InterruptedException{StringTokenizeritr

5、=newStringTokenizer(value.toStringO);while(itr.hasMoreTokens()){word.set(itr.nextToken());context.write(word,one);"设置keyvalue}}}Reduce函数如下：publicstaticclassIntSumReducerextendsReducer{privateIntWritableresult=newlntWritable();publicvoidreduce(Textkey,lterable

6、tWritable>values,Contextcontext)throwslOException,InterruptedException{intsum=0;for(IntWritableval:values){sum+=val.get();//聚集操作}result.set(sum);context.write(key,result);Job的配置：publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();String口otherArgs=newGenericOpti

7、onsParser(conf,args).getRemainingArgs();if(otherArgs.length!=2){System.err.println("Usage:wordcount");System.exit(2);}Jobjob=newJob(conf,"wordcount");//jobnamejob.setJarByClass(WordCount.class);job.setMapperClass(To