2024年4月15日发(作者：)

应用　

．

Ｈａｄｏｏｐ　ＭａｐＲｅｄｕｃｅ是一种软件　

Ｒｅｄｕｃｅ框架的Ｈａｄｏｏｐ集群转码　

的厄数据，而ＤａｔａＮｏｄｅ仔储ｒ灾　

并行计算模犁　

业务作为一种典犁的网络服务，具有极人的发展潜力和市场　

规模。与其它业务比较而言，视频业务有自身特点：视频处理　

过程坩计算能力要求高；视频的编码、解码、实时视频处理等　

技术，涉及到人量的空域频域的变换，在时效性较强的视频业　

务中，对计算能力构成很大挑战。Ｈａｄｏｏｐ是‘　个开源的云汁　

算框架，它是一个适合处理海量数据的并行编程系统，可以根　

据输入数据分布等信息自动创建多个并行子任务，并将子任　

务调度到合适的集群节点上并行执行。所以此模型能够很好　

地适用于多个视频文件同时转码。ＭａｐＲｅｄｕｃｅ是Ｈａｄｏｏｐ系统　

的一个核心模块，它使得程序员不必关心节点失效、仟务火效　

及任务之间的数据等问题，而只需按照ＭａｐＲｅｄｕｃｅ编程规范　

ＭａｐＲｅｄｕｃｅ是由Ｇｏｏｇｌｅ提出的云计算核心计算模犁，提　

供了比多线程编程更上一层的接口，『并蔽了许多细冉性问题，　

降低了开发者的入门门槛，提高了开发分布式　序的效率。　

ＭａｐＲｅｄｕｃｅ是一‘个用于大数据量计算的编程模犁，同时也地　

一

种高效的任务调度模型。在ＭａｐＲｅｄｕｃｅ计算模型ｌｆ１，　要用　

，ｒＬｌ提供两个关键函数，ｍａｐ函数和ｒｅｄｕｃｅ函数，即映射和规约　

两个主要过程。ＭａｐＲｅｄｕｃｅ框架运行于ＨＤＦＳ文件系上面，这　

两个函数对一组键值对（ｋｅｙ／ｖａｌｕｅ）进行操作，得出　矧键值　

对：（ｉｎｐｕｔ）＜ｋ１，ｖｌ＞一＞ｍａｐ一＞＜ｋ２，ｖ２＞一＞ｃｏｍｂｉｎｅ一＞＜ｋ２，ｖ２＞一＞　

ｒｅｄｕｃｅ一＞＜ｋ３，ｖ３＞（ｏｕｔｐｕｔ１。　

３．　－￣Ｈａｄｏｏｐ的视频转码系统　

定义好ｍａｐ函数、ｒｅｄｕｃｅ函数以及一些数据格式信息，即可完　

成分布式数据处理问题。　

２．Ｈａｄｏｏｐ介绍　

３．１系统说明　

通过上面关于云计算和Ｈａｄｏｏｐ相关知识的介绍，结合人　

批量、多用户视频转码对计算资源的需求，实现基Ｊ　Ｈａｄｏｏｐ　

云计算平台的视频转码。本项目视频处理类的实现是基于音　

视频转换软件ｆｉｆｎｐｅｇ，通过ＭａｐＲｅｄｕｃｅ中ｍａｐ函数封装ｆｆｍ—　

ｐｅｇ转码功能，当大量视频转码任务提交到集群时，系统自动　

把仔务随机分配到集群节点上，利用集群系统计算能力币Ｉ】已　

有视频转码开源软件实现多视频同时存线转码。哭＿ｒ视频转　

码相关技术如码率转换、空间分辨率转换、时　分辨率转换、　

语法转换、容错视频转码等都交给已有的转码软件米实现。天　

谈到Ｈａｄｏｏｐ不得不提到云计算，云计算是网格计算、分　

布式计算、并行计算、效应计算、网络存储、虚拟化、负载均衡　

等传统计算机技术和网络技术发展融合的产物。云计算的基　

本思想是通过构建大规模的基于集群系统的数据中心，将集　

群中的资源以虚拟化的形式向用户提供资源池。总之，云计算　

是在分布式计算的技术基础七的更高层次的“集中式”计算处　

理模式，Ｈａｄｏｏｐ是由Ａｐａｃｈｅ开源组织的　’‘’个分布式计算框　

架，可以在大量廉价的硬件设备组成的集群上运行应用程序，　

为应用程序提供了一组稳定可靠的接口，旨在构建一个有高　

叮靠性和良好扩展性的分布式系统，它是现在实现云计算的　

主要可选方式之一。Ｈａｄｏｏｐ主要包括Ｈａｄｏｏｐ分布式文件系　

ｆ　Ｈａｄｏｏｐ集群的搭建可以通过网络、书籍找剑人晕相关资　

料，关于具体ｍａｐ函数、ｒｅｄｕｃｅ函数以及ｋｅｙ、ｖａｌｕｅ埘的划分　

等细节问题这里也不做详细解释，只给出了视频转码的于Ｆ发　

框架。　

统和计算模型ＭａｐＲｅｄｕｃｅ两个部分。　

２．１　ＨＤＦＳ分布式文件系统　

ＨＤＦＳ有着高容错性（ｆａｕｌｔ—ｔｏｌｅｒｅｎｔ）的特点，设计用来部　

署在低廉的（１ｏｗ—ｃｏｓｔ）硬件上。它提供高传输率（ｈｉｇｈ　ｔｈｒｏｕｇｈ—　

在本设计中，使用Ｊａｖａ提供的Ｒｕｎｔｉｍｅ类进仃奉地转　５　

功能代码的调用。这样做的好处是：不论本地视频处理功能足　

由什么编程语言实现的，只要最终的形式是可执彳］ｒ文件，都ｕＪ　

以被ＭａｐＲｅｄｕｃｅ框架调用。Ｒｕｎｔｉｍｅ类可以耳义得Ｊａｖａ虚拟机　

ｐｕｔ）来访问应用程序的数据，适合那些有着超人数据集（１ａｒｇｅ　

ｄａｔａ　ｓｅｔ）的应用程序。ＨＤＦＳ采用Ｍａｓｔｅｒ／Ｓｌａｖｅ架构，一个　

ＨＤＦＳ集群由　个ＮａｍｅＮｏｄｅ节点和一组ＤａｔａＮｏｄｅ节点组　

的运行时环境，这个类有一个非常有用的　法ｅｘｅｃ（Ｓｔｉｆｎｇ　ＣｌＴＩ—　

ｄＡｒｒａｙ［］）用于调用本地町执行文件。此　法的参数足嘤被｜蒯　

用的可执行文件的命令行字符串数组。该亨符串数组的值取　

作者简介：张浩，男，湖南益阳人，硕士　主要研究方向：计算机应用，云计算　

３６—　

决于视频处理功能的具体实现。　

３．２　Ｈａｄｏｏｐ架构实现　

Ｈａｄｏｏｐ系统包括分布式文件系统ＨＤＦＳ、并行计算框架　

ＭａｐＲｅｄｕｃｅ、作业队列管理模块。ＨＤＦＳ用于存储本地上传的视　

频文件，ＭａｐＲｅｄｕｃｅ框架用于完成视频转码功能，作业队列管　

理模块用于接收本地提交的任务信息，分析任务，将任务分割　

给云节点的计算单元，最后将视频转码后的信息写入数据库。　

视频转码框架如图１所示：　

图１　视频转码系统整体架构　

Ｈａｄｏｏｐ系统中的视频作业控制模块主要由５个模块组　

成。各个模块的功能如下：　

（１）子作业流创建模块：一个视频处理作业可以划分为多　

个ＭａｐＲｅｄｕｃｅ子作业，根据视频开发用户提供的信息生成一　

系列的ＭａｐＲｅｄｕｃｅ作业流，包括视频作业子作业的个数和各　

个子作业之间的依赖关系。　

（２）视频作业信息模块：此模块用于维护一个视频作业完　

成状态信息和各个子作业的完成进度信息以及各个子作业的　

文件输出位置等信息。子作业提交模块根据此模块和子作业　

创建模块提供的信息决定哪个时间提交子作业流中的一个　

ＭａｐＲｅｄｕｃｅ子作业。　

（３）子作业提交模块：此模块对视频作业信息模块中的子　

作业信息进行监控，一旦满足作业提交的要求，从子作业流创　

建模块中取出一个子作业，提交到Ｈａｄｏｏｐ中执行。　

（４）子作业监控模块：此模块负责向Ｈａｄｏｏｐ系统获取各　

个子作业完成的状态信息，并负责更新视频作业信息的完成　

状态。　

（５）作业清理模块：此模块用于一个视频作业完成后，清　

理完成视频作业的过程中ＨＤＦＳ上的临时文件，并将视频作　

业的完成状态存入数据库中。　

｜一－●—ｔ、　

—

■舟　

ｔ＇ｇｅ　

匝　

暖　习　

匝　

腰垂鲴　—●　上，　

ｒｉｉ　

岖　－－囤

哐　

ｌｌ’一ｌｌ　

’叵三童　＝ｉ　

匝匦貂　哐虱－．恒　　Ｉ

Ｉ鱼　Ｈ＿　吒匾卜－（蕊　

●’———ｆ—…

＿；　＝＿１　

　

——　

；＿＿Ｊ　

图２视频处理流程图　

视频处理流程如图２所示流程详细过程如下：　

云技术　确　

（１）用户将需要处理的视频上传到ＨＤＦＳ上；　

（２）将视频的处理信息和所要用到的处理函数传递到视频　

处理框架中；　

（３）子作业创建模块创建一个子作业流和一个视频作业信　

息模块；　

（４）子作业提交模块根据各个子作业流的依赖关系和各个　

子作业的完成状态向Ｈａｄｏｏｐ系统提交ＭａｐＲｅｄｕｃｅ子作业；　

（５）Ｈａｄｏｏｐ框架执行ＭａｐＲｅｄｕｃｅ子作业，将各个子作业　

的结果写入到ＨＤＦＳ中；　

（６）子作业监控模块从Ｈａｄｏｏｐ系统中获取各个子作业的　

完成状态并更新视频作业信息模块；　

（７　整个视频作业完成后，作业清理模块负责清理ＨＤＦＳ　

上中间子作业输出的临时文件并更新视频作业信息模块。　

４．实验及结果分析　

集群使用两个节点作为转码工作节点，测试数据大小为　

７００Ｍ，分布式文件系统块大小为６４Ｍ。测试结果如表１所示。　

表１集群转码性能　

转码位置　视频分块大ｄ￣（Ｍｂ、　转码时间（Ｓ）　

本地　７００　２６７　

ｌ７５　９９　

Ｉ１５　ｌ１３　

８７　９４　

７０　ｌ１２　

Ｈａｄｏｏｐ系统　

３５　１Ｏ６　

ｌ７　ｌ１２　

９　１４５　

４　２５ｌ　

从表１可以看出：　

（１）集群转码的时间平均时间约为单机转码所用时间的　

１／２，这个结果与期望的结果一致。这说明了将视频转码移植到　

Ｈａｄｏｏｐ平台上可以提高转码效率。　

（２１当视频文件分片远远小于文件系统分片的大小的时　

候，集群的转码性能会恶化。这表明Ｈａｄｏｏｐ系统适合处理大　

数据量的应用。　

５．结束语　

本文主要论述了在Ｈａｄｏｏｐ平台上视频转码的设计与实　

现。随着视频数据量的急剧增长，传统的集中式视频转码系统　

存在存储能力和数据处理能力不足、存储能力和处理能力不　

可扩展的缺点。Ｈａｄｏｏｐ系统的并行任务分配、任务本地化、可　

扩展性和高容错性使得Ｈａｄｏｏｐ系统在数据密集型任务处理　

方面有着优秀的表现。视频处理任务是一种数据密集型任务，　

将视频转码任务移植到Ｈａｄｏｏｐ系统中可以充分利用现有的　

计算资源，使得视频转码效率得到提高。　

（下转第４Ｏ页）　

一

３７—　

丰流的负载均衡策略的基础之　，提出了基＿ｒ反馈的负载均　

衡策略。实践证明，采用新的负载均衡策略后系统存整体吞吐　

量方面有所提高，特别是在系统各个节点性能不一、系统提供　

的网络服务所访问的资源多样化的情况下，基于反馈机制的　

效果尤其明显。　

永壤＾０　１　０　３　ｌ　

』　ｌ１　３ｆ｝　¨４，６　４６　

６　７　８　９　ｔ　０　ｌＩ　１２　１３　１　４　ｔ５　１６　１　７　ｌ８　１９∽　

４６　４６　４６　４６　４６　坼４４　４４　４４　４４　４４　４４　４４　４４　４－ｌ　

参考文献：　

［１】．‘Ｔｈｅ　Ｎｅｔｗｏｒｋ　Ｑｕｅｕｉｎｇ　Ｓｙｓｔｅｍ＂．Ｂｒｅｎｔ　Ａ．Ｋｉｎｇｓｂｕｒｙ．Ｓｔｅｒｌｉｎｇ　Ｓｏｆｔ—　

ｗａｒｅ，１９９２．　

｛　Ｉ　、ｔ２　２８　４２　４４　ｌ４　４４　ｑ４　４４　４４　４４＇４４　．１４　ｄ２　４２　４２　４２　４２　４２．１２　４２　４２　

Ｉ｜点３　２４　３４　３４　３　４　３４　３４　３４　３４　３４　３４　３４　３，４　３４　３４　３４　３４　３４　３２　３２　３２　

［２】须成忠，张德富，孙钟秀．“一种分布式动态负载平衡算法”［Ｊ］．软件　

学报．１９９３．２．　

图２基于反馈的动态负载均衡算法的实验结果　

［３】刘海龙，张廷园，汤小春．“高性能计算环境下基于远程Ｉ／Ｏ负载平　

载节点，可以看出二＿者在任务的分配上基本接近，而重载节点　

接受任务的权值比例明显少于另两个节点，因此在总体分配　

的任务数量上也少于其它两个节点。这说明提出的基于反馈　

的负载均衡算法是有效的，可以有效地按照云平台中各个节　

衡调度算法”［Ｊ】ｌ计算机应用研究，２００５．９．　

［４】Ｗ．Ｒｉｃｈａｒｄ　Ｓｔｅｖｅｎｓ．ＵＮＩＸ网络编程（第一卷套接字ＡＰＩ和　

Ｘ／Ｏｐｅｎ传输接口ＡＰＩ）［Ｍ］．清华大学出版社，１９９９　

［５】Ｗ．Ｒｉｃｈａｒｄ　Ｓｔｅｖｅｎｓ．ＵＮＩＸ网络编程（第：－ｇ进程间通信）［Ｍ］．清华　

大学出版社．２００２．　

点的负载情况动态地接受任务。　

４．结束语　

本文论述了云计算模型下负载均衡策略的原理，在多种　

Ｔｈｅ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｌｏａｄ　Ｂａｌａｎｃｅ　Ｓｔｒａｔｅｇｉｅｓ　Ｂａｓｅｄ　ｏｎ　Ｃｌｏｕｄ　Ｃｏｍｐｕｔｉｎｇ　

Ｌｉｕ　Ｙｅ　Ｓｈｅｎ　Ｘｉａｏｊｕｎ　Ｌｉｕ　Ｍｏｘｉ　

（Ｚｈ＠ａｎｇ　Ｅｌｅｃｔｒｉｃ　Ｐｏｗｅｒ　Ｃｏｒｐｏｒａｔｉｏｎ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ　Ｃｅｎｔｅｒ，Ｈａｎｇｚｈｏｕ　３　１０００７，Ｚｈ＠ａｎ曲　

【ＡＭｔｌａｅｔ　１　Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｔａｃｋｌｅ　ＳＯ—ｃａｌｌｅｄ”ｒｅｓｏｕｒｃｅ　ｓｔａｒｖａｔｉｏｎ”ｐｒｏｂｌｅｍ，ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｓ　ａ　ｎｕｍｂｅｒ　ｏｆ　ｌｏａｄ　ｂａｌａｎｃｅ　ｓｔｒａｔｅｇｉｅｓ，　

ａｎｄ　ｐｒｅｓｅｎｔｓ　ａ　ｄｙｎａｍｉｃ　ｆｅｅｄｂａｃｋ—ｂａｓｅｄ　ｌｏａｄ　ｂａｌａｎｃｅ　ｓｔｒａｔｅｇｙ．Ｂｙ　ｅｘｐｅｒｉｍｅｎｔｓ，ｆｅｅｄｂａｃｋ—ｂａｓｅｄ　ｌｏａｄ　ｂａｌａｎｃｅ　ｓｔｒａｔｅｇｙ　ｐｌａｙｓ　ａ　ｓｉｇｎｉｉｃａｎｔｆ　ｒｏｌｅ　

ｉｎ　ｃｉｒｃｕｍｓｔａｎｃｅｓ　ｏｆｄｉｆｅｒｅｎｔ　ｎｏｄｅｓ　ａｎｄ　ｄｉｖｅｒｓｅ　ｎｅｔｗｏｒｋ　ｓｅｒｖｉｃｅｓ．　

【Ｋｅｙｗｏｒｄｓ】ｆｅｅｄｂａｃｋ　ｍｅｃｈａｎｉｓｍ；ｌｏａｄ　ｂａｌａｎｃｅ；ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　

（上接第３７页）　

参考文献：　

［１］ＣｈｕｃｋＬａｎ．Ｈａｄｏｏｐ１ＮＡＣＴＩＯＮ［Ｍ］，ＭａｎｎｉｎｇＰｕｂｌｉｃａｔｉｏｎｓ，２０１１．　

［２］Ｈａｄｏｏｐ官方文档．ｈｔｔｐ：／／Ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ／ｃｏｍｍｏｒｄｄｏｅｓ／ｔｏｔｕｒｉａ１．　

ｈｔｍ［ＥＢ／ＯＬ］．　

Ｇｏ　ｔｏ　ｔｈｅ　Ｃｌｏｕｄ？”．ＩＥＥＥ　Ｃｏｍｐｕｔｅｒ　Ｓｏｃｉｅｔｙ，２０１０：８１￣８３．　

［４］ＦＦＭｐｅｇ．ｈｔｔｐ：／／ｆｆｍｐｅｇ．ｏｒｇ［ＥＢ／ＯＬ］，２０１１．　

［５］Ｋｏｅｔｔｅｒ　Ｒ．Ｃｏｎｖｅｒｔｉｎｇ　ｖｉｄｅｏ　ｆｏｒｍａｔｓ　ｗｉｔｈ　ＦＦｍｐｅｇ．Ｌｉｎｕｘ　Ｊｏｕｒｎａｌ　

ａｒｃｈｉｖｅ，２００６．　

［３１Ｋ．Ｂｒｅｉｔｍａｎ，Ｍ．Ｅｎｄｌｅｒ，Ｒ．Ｐｅｒｅｉｒａ，Ｍ．Ａｚａｍｂｕｊａ一”Ｗｈｅｎ　ＴＶ　Ｄｉｅｓ，Ｗｉｌｌ　Ｉｔ　

Ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　Ｈａｄｏｏｐ　ｉｎ　Ｖｉｄｅｏ　Ｔｒａｎｓｃｏｄｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｃｌｏｕｄ　Ｃｏｍｐｕｔｉｎｇ　

Ｚｈａｎｇ　Ｈａｏ　Ｓｕｎ　Ｓｈｕｘｉａ　

ｆＣｈｅｎｇｄｕ　Ｕｎｉｖｅｒｓｉｙ　ｔｏｆＴｅｃｈｎｏｌｏｇｙ，Ｃｈｅｎｇｄｕ　６　１００５９，Ｓｉｃｈｕａｎ）　

【Ａｂｓｍ￣】Ｖｉｄｅｏ　ｔｒａｎｓｃｏｄｉｎｇ　ｉｓ　ａ　ｂｏｔｈ　ｃｏｍｐｕｔｅ－ｉｎｔｅｎｓｉｖｅ　ａｎｄ　ｄａｔａ－ｉｎｔｅｎｓｉｖｅ　ｔａｓｋ．Ｉｔ　ｃａｎ　ｃｏｎｓｕｍｅ　ａ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｃｏｍｐｕｔｅｒ　ｒｅ—　

ｓｏｕｒｃｅｓ．Ｍａｐｒｅｄｕｃｅ　ｉｓ　ａ　ｓｏｆｔｗａｒｅ　ｒａｍｅｗｏｒｋ　ｆｗｈｉｃｈ　ｉｓ　ｄｅｓｉｇｎｅｄ　ｔｏ　ｓｕｐｐｏｒｔ　ｆｏｒ　ｄｉｓｔｒｉｂｕｔｅｄ　ｐｒｏｃｅｓｓｉｎｇ　ｏｆｌａｒｇｅ　ｄａｔａ　ｓｅｔｓ．Ｔｈｉｓ　ｐａｐｅｒ　ａｉｍｓ　ｔｏ　ｕｓｅ　

ｏｐｅｎ　ｓｏｕｒｃｅ　ｖｉｄｅｏ　ｔｒａｎｓｃｏｄｉｎｇ　ｓｏｆｔｗａｒｅ（ｆｍｐｅｇ）ｔｏ　ｃｒｅａｔｅ　ａ　Ｈａｄｏｏｐ　ｃｌｕｓｔｅｒ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｓｐｅｅｄ　ｏｆｖｉｄｅｏ　ｔｒａｎｓｃｏｄｉｎｇ．　

【Ｋｅｙｗｏｒｄａ　１　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ；Ｈａｄｏｏｐ；ＭａｐＲｅｄｕｃｅ；ｖｉｄｅｏ　ｔｒａｎｓｃｏｄｉｎｇ；ｆｆｍｐｅｇ　

４０　。——