2024年1月19日发(作者：)

Science&TechnologyVision科技视界基于MirrorLink的VNC屏幕映射方法改进与实现蒋建春邓露陈慧玲渊重庆邮电大学重庆市高校汽车电子与嵌入式系统工程研究中心袁中国重庆400065冤VNC揖传输协议方法在传输多媒体数据的时候帧率低摘要铱MirrorLink是汽车行业里推出的唯一统一标准袁设计出了一种新的多媒体传输方案袁卡顿现象严重遥实验结果表明袁且不支持语音控制袁旨在规范手机与车机互联袁VNC袁袁给用户带来方便实用的体验效果袁但是MirrorLink的实时性有所增强这严重影响了用户的体验效果袁在多媒体传输中视频能够流畅播放遥针对这个不足袁课题组修改了袁同时有效地降VNC低了CPU利用率遥揖关键词铱MirrorLink曰VNCImprovement曰屏幕映射and曰多媒体传输ImplementationofVNC(AutomotiveElectronicsandJIANGEmbeddedJian-chunSystemsDENGScreenMappingMethodBasedonMirrorlinkEngineeringLuCHENHui-lingvehicle揖Abstractmultimediaconnecting,铱MirrorLinkChongqingUniversityofPostsandTelecommunication,ResearchChongqingCenter400065,ofChongqingChina)Colleges,andgiveisuserstheautomotiveaconvenientindustry'rd,ButittheisdesignedframeratetoisregulatelowinthethemobileVNCofphoneandthedeficiency,systemourdata,researchanditcannotgroupchangedsupportsthevoiceVNCcontrol,transportwhichprotocolwillseriouslymethodimpactintoatheMirrorLinkinthetransmissionofnewuser'fythisplission,inTheresultsshowaddition,thethatthetransmissionprogram,wealsoinputavoicecontrolCPUfunctionutilizationofVNCwashasreduced,voiceVideoscontrolcanbefunctionwas揖Keywordssuccessfully.铱MirrorLink;Vnc;Voicecontrol;Screenmapping;Multimediatransmission0引言的环境下袁客服端与服务端的运行环境将完全一样袁并通过车机屏幕屏幕映射属于一种新的显示方法袁也就是说它能将完整的窗口界播放移动终端界面袁更主要的是车载终端可以通过触摸屏尧按钮等去面通过网络袁映射到另一台计算机的屏幕上袁主要解决不同设备之间控制移动设备界面等的互操作与资源共享问题渊GraphicUserInterface冤为屏幕映射技术的产生和发展奠定了基础遥苹果公司最早提出的图形用户界面GUI1.1遥[1]MirrorLinkMirrorLink协议架构伴随着物联网的快速发展袁车联网也呼之欲出袁车机互联也逐步成为遥车联网研究的重要应用之一遥无线渊员冤(WIFI)连接协议协议的组成结构如图的连接袁以IP(InternetProtocol)1所示为基础的面向有线袁它们分别是院(USB)和在车联网车载终端应用过程中袁由于车载终端硬件设备更新换代较慢袁部分功能不能满足发展的需要袁迫切需要一种替代的功能更新务端的状态渊圆冤UPnP服务协议袁用于传输网络数据袁提供广播机制通知遥ML(MirrorLink)客服端服方案袁屏幕映射技术的出现解决了车载终端硬件功能不足的问题遥将移动终端屏幕内容镜像到车载大屏幕袁让我们可以利用移动终端的硬控制信息到服务端渊猿冤VNC遥协议袁遥将此协议是基于ML服务端界面复制到客户端RFB(RemoteFrame袁客服端可以反馈Buffer)协议袁并件与软件的强大功能袁解决车载终端的不足袁同时袁利用车载终端的大提供了压缩技术屏幕显示移动终端的内容袁不用看着移动终端屏幕袁只需要用车载上的物理按键或语音命令就能控制手机袁给驾乘人员带来更多的便利与Protocol冤袁渊源冤用于传输音频的协议遥袁其中主要包括RTP渊Real-timeTransport舒适遥目前屏幕映射主要有3种互联方案院Distribution蓝牙的渊缘冤安全机制协议Profile冤袁HFP渊Hands-free用于音频数据的传输Profile冤和A2DP渊AdvancedAudio袁用于MirrorLink的认证与保密遥[4]遥性袁MirrorLink渊1冤MirrorLink遥有更好的兼容性MirrorLink袁最大的优势是平台独立独立性和开放除了iOS设备外袁几乎所有的主流智能手机系统都能支持[2]幕双向控制等遥但是袁MirrorLink遥MirrorLink也存在播放视频延时支持无线和有线连接袁不支持语音控袁能够实现屏制等缺陷现双向控制渊圆冤AirPlay遥遥AirPlay拥有流畅清晰的画面袁Miracast渊猿冤Miracast遥袁支持的视频格式有限美中不足的是没法实Miracast袁连接不方便等缺点遥带wifi尧耗电现象严重等方案也有显著的缺点[2]的技术优势是其视频播放的流畅度遥院无法双向控制尧延迟明显尧车机需要自袁但是由于MirrorLink概念提出时间早且是唯一的行业内推出的统一标准,平台独立性与开放性袁兼容性好等优点袁目前大多数汽车厂商都图1MirrorLink协议架构采用此方案遥课题组针对MirrorLink的不足袁融合了Miracast在视频传输的优点袁设计出了一套新的车机互联方案遥2MirrorLink的VNC协议1MirrorLink工作原理终端屏幕上的内容转移到客户端VNC(VirtualNetworkComputer)袁屏幕上的拷贝操作可以通过架构实现了两个功能袁一是将移动RFB协议来复制移动端设备显示卡(Framebuffer副本)中的内容袁将其进过一定全球车联盟MirrorLink(Car是智能手机和车载系统之间连接的开放式行业标准ConnectivityConsortium袁CCC)发起建立[3]遥在MirrorLink袁由的处理(旋转袁压缩袁色彩转换等)袁再传入到客户端的Framebuffer袁从而作者简介淫基金项目院蒋建春院国家物联网发展专项资金资助项目渊1975要冤袁男袁四川广安人袁博士袁副教授渊2013082702冤袁主要研究方向为嵌入式软件技术资助遥尧嵌入式单核与多核操作系统遥邓露渊1990要冤袁男袁重庆长寿人袁硕士研究生袁主要研究方向为汽车电子多屏互动遥陈慧玲渊1989要冤袁女袁重庆合川人袁硕士研究生袁主要研究方向为多核实时操作系统配置工具实现遥Science&TechnologyVision科技视界. All Rights Reserved.

Science&TechnologyVision科技视界在客户端的显示设备上能出现移动设备上的界面[3]允许客户端控制它2.1袁客户端传送事件消息到服务端遥遥二是服务端被动的程访问图形用户接口的简单协议VNCVNC协议是基于的核心协议RFBRFB协议协议的[5]之上的一个简单的图形界面传输协议遥袁RFB它是建立在(远程帧缓冲TCP/IP)是一个用于远传输协议基础2.1.1遥定位的矩形内RFB显示协议显示协议原理可简单的归结为袁通过这些小矩形内的像素更新来完成整个帧缓存的更院把像素数据放在一个由x,y新2.1.2袁服务器每次只发送变化的矩形块为事件请求发送至服务端RFB输入协议遥客户端将用户通过触摸屏遥服务端接收消息后根据不同的输入事件执尧按键尧鼠标等IO设备的输入作行相对应的逻辑操作2.1.3袁响应RFB客户端提出的事件请求遥数据格式以及传输的编码方式RFB像素与图形编码客户端和RFB服务端首次会话的时候将会协商具体的像素遥24通过什么形式在网络中传输位或者像素数据格式指的是像素颜色值的表示方法16位真彩色的像素格式袁通常我们使用的是遥目前遥RFB编码指的是矩形区域的像素数据中定义的编码类型有原始编码尧复制矩形编码尧二维行程(RRE)编码和袁Hextile编码袁ZRLE编码[4]可以新增编码方式对协议进行扩展遥比如JPEG尧MPEG等等遥遥通过对RFB协议的分析袁RFB显示协议采用被动更新方式袁将使画面有一定的延迟效果曰特别在视频传输时袁延迟效果极大遥3VNC协议改进对于VNC显示协议袁服务端采用被动更新方式将会给画面带来延迟效果袁本文将采用服务端主动更新方式曰由于移动硬件设备的限制袁压缩算法的缺陷等原因袁导致了VNC在视频传输中袁视频播放延迟非常大袁在客户端看到的图像就如同幻灯片一样袁无法给用户提供流畅视频图像[6]同步的袁这样就使得在车载终端观看视频的时候遥与此同时在VNC环境下袁手机与车机的画面是完全袁手机无法单独操控袁因为操作手机袁导致手机画面变化袁车载终端也会同样跟着手机画面曰这样会导致手机只是一台服务器袁我们无法在视频传输的时候使用手机的功能3.1袁本文针对这种不足设计了一种新的多媒体传输方案遥本文借鉴了新的多媒体传输方案Miracast在传输视频方面的优势袁设计了一种针对车载智能终端与手机新的多媒体传输方案袁如图2所示遥VNC采用服务器被动更新策略袁客户端判断帧缓存有变化才向服务器申请帧缓存更新袁这种模式下两条显示更新之间的间隔至少是客户端与服务器间网络的RTT在正常模式下为了不影响人机交互的实时性时间袁再加上计算帧缓存变化所需要的时间袁VNC服务端采用主动更新策略袁本文采用服务器主动更新袁显示更新就更慢了[7]袁袁即服务端帧缓冲变化遥即马上发送更新请求袁减少不必要的交互过程曰如果服务端捕获到屏幕快速变化或者是打开视频文件袁VNC将切换到流媒体模式袁VNC服务端将快速变换的图像通过H.264编码(如果是传输视频文件袁此时将挂起屏幕映射功能袁只压缩传输视频数据)袁然后通过RTP/RTCP协议传输到渊VNC客户端袁客户端完成解码袁统整体架构如图如果是视频文件将会直接调用视频播放器进行播放将图像数据组装成图片显示2所示遥冤遥多媒体传输系图2多媒体传输4功能对比与实验结果分析NOTE为了验证方案的正确性3手机上进行了测试袁为了保证网络环境的一致性袁本文在一部GALAXYS3袁手机和一部本文在传统12科技视界Science&TechnologyVision的DirectVNCRfbFramebufferUpdateReques-t技术上引进了遥在正常模式下采用被动更新策略WifiDirect技术袁同时改进的袁通过监测客户端发送VNC也采用了WifiUpdate略袁通过测量消息并绘出图片所需要的时间消息到客户端接收到RfbFramebufferServer发出RfbFramebufferUpdate曰在正常模式下采用主动更新策消息到客户端绘出图片所需时间袁对此2种情况的实时性进行了统计袁如图3实时性对比图所示遥在流媒体模式下袁由于VNC不支持视频传输袁与本文方法无法进行对比袁所以本文只对视频播放的流畅性和VNCSever端CPU利用率进行了测试袁如图4所示遥表1改进的VNC与VNC功能对比VNC改进VNC屏幕显示能能全彩支持能能更改分辨率能能多屏映射能能音频传输不能能视频传输不能能屏幕双向控制能能WifiDirect不能能图3主动更新与被动更新实时性对比从图3中可以发现袁VNC实时性不是很好袁都在零点几秒袁这对于实时性要求高的场合是无法满足要求的遥本文设计的VNC普通模式就是针对这种实时性要求不高的场合袁而且采用了主动更新策略使实时性平均大致提升了0.25秒袁能够满足我们正常的需求遥图4VNCServerCPU利用率议把实时数据传输到客户端VNCServer把图像数据渊袁或视频文件客户端在本地解码播放冤通过H.264遥通过实验观察压缩由RTP协袁视频流畅性相当好袁没有一点的卡顿现象袁由图4可知CPU的负载也不高袁大致在30%左右遥本文改进的VNC方法袁在正常模式下袁实时性得以提升袁满足正常的需求曰在流媒体模式下袁视频播放流畅袁到达了完美的播放效果遥缘结语本文介绍了MirrorLink协议袁详细介绍了VNC的RFB协议遥针对车载智能终端与手机的多媒体传输方案袁在分析了现有的方案基础上结合了Miracast视频传输的优势袁本文设计了一种新的多媒体传输方案袁然后在Android手机上实现了该方案遥试验结果表明袁在非视频传输的情况袁采用VNC主动更新袁可以提高一定的实时性曰在视频传输的情况下袁通过H.264编码采用RTP协议直接传输视频文件袁有效地控制了CPU利用率袁视频能够完美播放遥揖参考文献铱渊下转第14页冤.. All Rights Reserved.

Science&TechnologyVision科技视界部的道路网络的交叉衔接依据表1遥相应地袁棕21尧棕22尧棕23分别表示轨道网络中3个层次的轨道所占的权重棕曰棕31尧棕32尧棕33分别表示水运网络中3个层次的线路所占的权重曰棕个层次的线路所占的权重遥如图2所示4143分别表示航空网络中3尧棕遥42尧图1城市群公路交通网络的交叉尧衔接与转换示意图图2城市群复合交通枢纽权重示意图表1其他层次道路网络的交叉衔接依据交叉形式快速路主干路次干路支路根据层次分析法可得所研究城市群复合交通枢纽hi归一化之前的权重院快速路互通式立交互通式立交分离或互通式立交不交叉5333主干路平交平交可连接但部分交叉棕h次干路平交平交=棕1伊移j=1棕1j+棕2伊移j=1棕2j+棕3伊移j=1棕3j+棕4伊移j=1棕4j支路平交现将棕h归一化得该复合交通枢纽hi在整个城市群复合交通网络中所占的权重渊2冤棕忆h棕院h因考虑到城市群内各层次轨道的运行速度不同城市群轨道交通网络的交叉尧衔接与转换袁为避免交通事故=移灶的发生袁使整个城市群的交通网络井然有序袁故高速列车可通过中转蚤越员棕h枢纽与中速列车相衔接袁负责城市群外部与城市群内部轨道交通网络依据复合交通枢纽在城市群交通网络中所占的权重袁可合理调整的衔接曰中速列车可通过城际中转枢纽与普速列车相衔接袁负责城市城市群内交通资源对于各个复合交通枢纽的分配比重袁这有助于更好群内部各城市之间轨道交通网络的衔接袁而高速列车不能与普速列车地建设城市群内的交通枢纽袁提高其承载力袁从而有效实现城市群内直接进行衔接不同运输方式之间的交叉尧衔接与转换遥渊3冤遥城市群水路交通网络的枢纽由各大港口所构成城市群水路交通网络的交叉尧衔接与转换袁将港口按层次性3结论从高到低划分可分为出口型港口尧大型港口与小型港口遥出口型港口本文以横向和纵向两个不同的研究角度对城市群交通网络的进主要负责货物的进口与出口袁将货物通过海运在国内外之间运输曰大行层次划分袁较高层次主要承担城市群与城市群外部的长距离运输袁型港口主要负责城市群与外部城市之间的联系曰小型港口则负责城市较低层次主要承担城市群内各城市之间的中等距离运输遥以城市群道群内各城市之间的水路运输遥这三者按层次性高低两两之间可相互交路运输尧轨道运输尧水路运输尧航空运输四种不同的运输方式的角度分叉尧衔接与转换析了城市群交通网络的层次性遥重点分析了城市群不同运输方式的交渊4冤叉衔接与转换袁由复合交通枢纽在城市群交通网络中所占的权重对应城市群航空交通网络的枢纽由各大机场所构成城市群航空交通网络的交叉遥尧衔接与转换袁将机场按层次性优化调整城市群内交通网络资源的分配袁并提出城市群交通网络各节从高到低划分可分为国际机场尧国内大型机场与小型机场遥国际机场点之间有效的衔接方法袁提高客货运输在运输方式进行转换衔接时的主要承担着将城市群内客流运送到其他国家的角色袁与其他国际机场紧密度袁以此提高城市群交通网络运行效率袁有利于城市群交通网络直接相衔接曰国内大型机场则负责城市群与其他城市群的联系袁与其井然有序的运行遥他城市群的群际机场相衔接袁一般建在城市群的中心城市曰国内小型机场分布在城市群内部各个城市袁连接城市群内部的各个城市遥当然袁国际机场与国内大型机场的衔接尧国内大型机场与国内小型机场的衔接是整个城市群航空交通网络交叉咱员暂West揖参考文献铱2.2scalingGB,BrownJH,almodelforthe咱圆暂Taaffelaws城市群不同运输方式之间的交叉城市群不同运输方式之间的交叉尧衔接与转换的核心所在尧尧遥衔接与转换需依靠相应的交通衔接与转换countries:aEinJ,biology[J].MorrillRScience,L,Could1997,PR.276(5309):ofallometric枢纽来实现袁因此交通枢纽的建设对于不同运输方式之间的交叉尧衔咱猿暂接与转换起主导作用遥由于城市群交通网络具有层次性袁若综合考虑咱源暂陆化普.comparative交通规划理论与方法analysis[J].[M].GeographicalTransport北京:Review,expansion1963,in53(4):underdeveloped503-529.城市群内的多种运输方式袁该交通枢纽便是由不同层次的道路交通网(02):106-111.丁金学,罗萍.新时期我国城市群交通运输发展的思考清华大学出版社[J].,2006,5(2):23-28.区域经济评论,2014络尧轨道交通网络尧水路运输网络尧航空运输网络中两种或两种以上运咱缘暂输方式网络叠加尧复合形成的交叉点袁即称复合交通枢纽遥34-37.陆建,胡刚.常规公交线网布局层次规划方法及其应用[J].城市交通,2004,2(4):根据所研究城市群的交通设施状况和地理环境袁H={h咱远暂22.肖滨,范炳全,柯欣.城市公交线网的分层规划方法[J].城市交通,2005,3(3):19-表示该城市群内所有复合交通枢纽曰h1i表示该城市群内任意复合交通尧h2噎hn}咱苑暂枢纽曰棕h表示该复合交通枢纽归一化之前的权重曰棕1尧棕2尧棕3尧棕4分别表10-15.曾明华,李夏苗,刘大鹏.城市群交通网络特性研究[J].系统工程,2009,27(3):示道路咱愿暂曾明华.区域交通网络层次性与优化设计研究[D].中南大学,2010.棕尧轨道棕尧水路尧航空四种运输方式在该城市群中所占的权重曰11尧棕12尧棕13尧14尧棕15分别表示道路网络中5个层次的道路所占的权重曰咱责任编辑院杨玉洁暂渊上接第12页冤咱员暂郭代,宴坚,王文江.新型屏幕共享系统设计与实现[J].计算机应用研究咱远暂Deboosere咱圆暂,2007,in[EB/OL]./qiche/.赵国辉.车联方案哪家强24(6):299-301.?聊聊MirrorLink尧CarPlay和AndroidAuto|oh!百科ThirdLow-andHighL,De-MotionWachterScenariosJ,Simoens[C]//NetworkingP,ientComputingSolutions咱猿暂咱苑暂李超International.基于流媒体的ConferenceAndroidonIEEE,远程桌面的设计与实现2007:vices,2007,ICNS.[D].广州:华南理工大学cn/article/.邱程援手机尧车机互联_MirrorLink解析[EB/OL]..2012.,咱源暂咱缘暂张元文吴筱桉,.VNC陈玮.车载系统系统中RFBMirrorLink协议分析及视频播放性能改进方案的研究[J].信息技术[D].,2013(2):55-58.南开大学,2008.咱责任编辑院杨玉洁暂14科技视界Science&. All Rights Reserved.