2021-09-06

5G云XR协同在智慧地铁运营领域的应用

分享:

引言:

中兴通讯是全球领先的综合通信解决方案提供商,为全球160多个国家和地区的电信运营商和行业客户提供创新技术与产品解决方案。基于在5G、云XR等领域的深入理解和丰富实践,中兴通讯推出了5GXR创新平台产品ZTE XRExplore

江苏中车数字科技有限企业是中国中车旗下子企业,专业为企业提供一流智能制造全面解决方案的企业。企业拥有完善的创新和研发机制,以联接,数字,智能,效率,质量,柔性的经营理念,通过“平台+产品+服务”模式, 构建了“中车必威体育数字平台”以及“智能物流、智能制造、智能运营”等三大解决方案阵营。企业致力于为国内外制造企业转型升级提供全面的技术支撑、业务咨询以及一站式、精益化、智能化、平台化服务。助力企业提高资产运营效率,推动生产力不断提升,驱动企业持续改进。

中国移动通信集团江苏有限企业南京分企业,下辖江宁、浦口、六合、溧水、高淳县(区)分企业,被评为“江苏省企业信息化建设示范企业”。

一、项目概述

1. 项目背景

5G时代,网速限制将被彻底解除,用户可随时随地观看视频,VRARXR业务将走出科技馆,走向真实的行业和用户,借助沉浸式科技,用户将拥有看待世界的全新视角,看见原本看不见的,看懂原本看不懂的,做到原本不能做的。

5G 网络使得接触资源的速度加快,帮助用户高效选择出适合的资源。

借助5G大带宽与低延时的能力,将XR内容云化,可以提供更加高效便捷内容分发能力。

5G网络的支撑下,用户不能身处何地都可通过网络即时获取到所需的XR内容资源。5G网络的成熟,将使不同行业和类型的用户更加便捷地开展部署XR业务,并将促进多形态XR业务与内容不断丰富。

2. 项目概况

ZTE XRExplore 创新平台基于端边云架构,提供边缘识别、边缘渲染和推流,降低对终端性能要求和终端功耗,可大大提升业务质量和体验;平台提供丰富的3D内容展示、云VR沉浸式业务和 AR增强现实业务,可应用于多人协作设计、培训、远程引导等多种场景。

中车结合ZTE XRExplore平台在两个场景提出了具体的应用需求。

1. 数字孪生场景

中车面向客户进行机车产品和核心部件的市场推广和技术讨论时,大部分环节只有二维图纸和碎片化的文字先容,无法直观,生动和快速体现机车和核心部件的价值所在,生产数据和实际运营数据脱节,无法数字化展现和打通媒介,亟需XR解决方案。

2. 故障检修场景

面对复杂的机车故障检修时,往往需要中车技术人员、现场维修人员、机车管理人员等多角色现场参与定位和解决,需要耗费大量的人力、物力、财力以及时间成本,亟需远程解决方案。

3. 项目目标

1. 针对产品展示场景,结合ZTE XRExplore创新平台,存储海量数字模型,随时随地使用多终端以数字孪生方式展现全量机车产品和核心部件的生产制造全生命周期数据,联通PHM系统检测实时回传数据,通过检测数据与生产数据对比分析,提供机车改造优化的效率。

2. 应对故障检修场景,结合数字孪生功能和远程专家引导功能,使能参与故障解决的多方人员可以随时随地,使用多终端方式异地同时组会讨论,协商解决方案,实现实时AR远程引导,完成故障定位和检修,提高故障解决效率,节省人力,物力,财力和时间成本。

二、项目实施概述

1. 项目总体架构和主要内容

基于在5GXR技术等方面的雄厚积累,中兴通讯推出了以PAD/手机/VRAR眼镜客户端、边缘云XR渲染平台和中心云管理平台为主体的三级系统架构设计。系统具备故障弱化能力,在中心管理平台不可用的情况下,保证现有的边缘服务不中断。系统利用边缘云XR渲染平台计算能力,释放终端压力,保证XR顺畅运行,改善体验。

ZTE XRExplore产品采用了端、边、云的系统设计架构,在部署时可以灵活的端、边、云分离部署,也可以合设部署。

 

系统架构如下:

1632904783106559.png

图1  系统架构

中心管理平台可以部署在云端(公有云或私有云),也可以部署在边缘侧。中心管理平台提供了中心门户、用户管理、内容管理、业务管理、智能运维、智能运营等功能模块;

边缘-云渲染平台采用分层架构,底层是GPU服务器和网络设备,通过边缘云平台为云渲染平台提供弹性计算服务、GPU虚拟化服务、存储服务和虚拟网络服务。中间是云XR能力层,提供了云XR渲染、云XR推流、工作流编排、会控及媒体处理、视频流分发等能力组件。上层是面向各行业的云XR应用服务层,提供了门户、会议AS、数据服务、应用服务和接口机等功能模块;

XR客户端:集成XR渲染平台服务端的对外服务的能力,封装成SDKXR客户端APK进行调用,实现XR业务的交互服务。针对微信小程序也提供渲染引擎插件功能。

除以上核心能力以外,该平台提供能力开放功能给第三方生态合作伙伴开发XR应用:

1.       渲染能力开放:提供标准SDK开放给第三方应用提供商集成,支撑云XR渲染应用。

2.       智能识别能力开放:提供标准SDK开放给第三方应用提供商集成,支撑云端识别应用。

3.       业务管理能力开放:包括内容管理接口、统计分析接口、话单接口等API的开放功能。

4.       点直播能力开放:提供标准SDK开放给第三方应用提供商集成,支撑XR点播、直播及录播等应用。

结合中车的数字孪生和故障检修场景,ZTE基于云XR的能力中台,研发了云XR协作应用,既能满足海量数字孪生模型的场景打通生产数据和检测数据,又能实现多方异地协同以XR方式解决复杂故障的场景。

2. 网络架构

中兴通讯XRExplore产品借助于企业在其它视频类产品(如:IPTV/ OTT/ CDN、视频会议和安防等视频产品)可靠性方面的深厚积累(如在双机部署、异地容灾、N+1备份、产品安全方面等有成熟的部署经验),在产品化规模部署和安全性方面具有显著优势。

下图为中兴通讯XRExplore产品的部署架构图。

1632904866870216.png

图2  产品部署网络架构图

结合中车场景,具体部署情况如下:

端侧支撑各类异构胖瘦终端,通过无线网络灵活接入系统。边侧基于私有云部署,存储海量三维模型数据并提供可视化算力支撑,以数字孪生方式展现机车产品和核心部件的生产制造全生命周期数据,支撑拖拉、旋转、标记、涂色等多人操作。中心管理平台进行用户管理、内容管理、应用管理,为智能运维提供支撑。

3. 具体应用场景和应用模式

针对产品展示场景,结合ZTE XRExplore创新平台,存储海量数字模型,随时随地,使用多终端以数字孪生方式展现全量机车产品和核心部件的生产制造全生命周期数据,通过检测数据与生产数据对比分析,提供机车改造优化的效率。

 

15G+XR数字孪生系统,产品质量分析会多人同场景沉浸式协作。

主要功能和业务:

n  多人协同,提高多部门跨地域会议效率;

n  生产制造全生命周期数据管理;

n  PHM(预测与健康管理)系统数据结合分析;

n  检测数据与生产数据对比分析。

 

 

1632905072267983.jpg

图3 多人协作

 

2XRExplore平台在必威体育领域远程引导的应用

应对故障检修场景,结合数字孪生功能和远程专家引导功能,使能参与故障解决的多方人员可以随时随地,使用多终端方式异地同时组会讨论,协商解决方案,实现实时AR远程引导,完成故障定位和检修,提高故障解决效率,节省人力、物力、财力和时间成本。

XRExplore平台结合5G与边缘计算功能后,可以充分发挥大带宽低时延特性,实时传输远程高清视频。现场人员佩戴AR眼镜后,可以实时回传现场结合AR信息的高清视频,后方专家端可以对回传信息进行冻屏、标注并结合语音信息流完成对现场的实时引导,引导效果如身临其境,大大提升了必威体育领域运维、装配等工作的工作效率。

三、下一步实施计划

当前阶段主要完成多人协同应用在列车产品质量分析方面的落地,后续将重点推动多人协同应用场景在列车市场推广、售后维护等环节的落地应用。

四、项目创新点和实施效果

1. 项目先进性及创新点

1 端、边、云架构:基于在5G技术方面的雄厚积累,推出了以VRAR眼镜客户端、边缘云XR渲染平台和中心云管理平台为主体的三级系统架构设计。系统具备故障弱化能力,在中心管理平台不可用的情况下,保证现有的虚拟课堂服务不中断。无需接入头盔线缆连接,利用边缘云XR渲染平台计算能力,释放终端压力,保证XR顺畅运行改善体验。

2 良好的终端兼容性:与核心芯片厂家包括高通,SAMSUNG,Intel,瑞芯微,全志,炬力等深度合作,支撑上百家VR/AR设备厂家,同时可以通过提供SDK接入其它未验证对接过的VRAR终端。边端渲染与系统底层深度优化,与边端渲染配合终端APP都是基于OpenGL编程,效率高,功耗低,使用稳定。

3 良好的应用兼容性:既支撑SteamVRHTC平台VR应用,也支撑基于自有SDK开发的VR应用,并同时支撑AR应用。

4 完善的云平台管理:中心云提供学校管理,用户管理,产品管理,终端管理,内容管理等功能。边缘云提供虚拟课堂教学资源动态管理、终端统一接入和状态管理等功能。具有丰富的电信级BOSS系统对接运营经验。

5 XR渲染:云渲染平台支撑虚拟化部署,物理资源由虚拟化平台进行动态调度和统一管理。支撑一路虚机多路渲染,满足大规模并发和物理资源的充分利用。多种关键技术保障效果稳定,低时延体验。包括STP姿态预测, DTR异步时间扭曲和SLAM技术等。

6 XR识别:云XR平台支撑内容边端识别,在现实场景下叠加3D模型或者视频进行虚实融合。满足AR景点秀、博物馆文物识别等识别类应用的需求。

7 云编辑和编排:支撑中心云和边缘云XR内容的在线编辑、离线编辑和内容场景化编排,极大地增强了教学互动体验。

8 支撑音视频一体化会议:老师和学生可通过内置会议系统进行教学讨论和课堂互动,解决了佩戴头盔对环境声音不敏感的问题。

9 丰富的内容资源:中兴通讯联合数十家业内领先的XR内容提供商提供数千个优质的XR内容,支撑3D模型、视频、动画和图片等各种内容类型。

2. 实施效果

本项目阶段性成果

1)在20191017日举行的世界智能制造大会上,中国中车联合中兴通讯展示数字孪生技术在机车核心部件上的应用。

1632905110365427.png

 

22020317日,由中兴通讯联合中车数字、江苏移动南京分企业共同开发的5GXR协作应用在列车制造运营领域的实践,成功通过项目二期评定验收。

1632905131508042.png

 

3XR应用场景:

      实现产品质量分析多人协同评审和必威体育现场巡检引导的应用。

45GXR与传统对比方案对比

ü  5G大带宽低时延,确保视频质量和视频交互的上传和分发时延。

ü  XR边缘渲染平台,实现计算上移,可满足满足模型的渲染和呈现,降低对终端能力的要求。

ü  不同地域、不同专业多人协同分析评审,提升工作效率。

ü  5G+XR打通了PHM等平台和人机可视化交互之间的数据通道。

声明

本报告所载的材料和信息,包括但不限于文本、图片、数据、观点、建议,不构成法律建议,也不应替代律师意见。本报告所有材料或内容的常识产权归betway体育亚洲版入口-必威体育所有(注明是引自其他方的内容除外),并受法律保护。如需转载,需联系本联盟并获得授权许可。未经授权许可,任何人不得将报告的全部或部分内容以发布、转载、汇编、转让、出售等方式使用,不得将报告的全部或部分内容通过网络方式传播,不得在任何公开场合使用报告内相关描述及相关数据图表。违反上述声明者,本联盟将追究其相关法律责任。

betway体育亚洲版入口-必威体育
联系电话:010-62305887
邮箱:aii@caict.ac.cn
XML 地图 | Sitemap 地图