VR中国每周信息汇编(2022年第44期,总第83期)

2022-12-30 09:43:43 浏览:374

本期导读

  • The Information:苹果大约有3000名员工正在开发AR/VR头显

  • 元宇宙触觉和运动设备厂商StretchSense完成1330万新西兰元A轮融资

  • 索尼收购Beyond Sports,将其定位为元宇宙体育门户

  • Leia获得Aon 1.25亿美元融资,以加强知识产权组合

  • Unity完成与IronSource合并,以扩展用于游戏开发生命周期的工具和服务

  • DigiTimes:苹果首款AR/VR头显量产将于2023年3月启动

  • 夏普旨在通过车用显示器与VR装置显示业务获利

  • 联想即将推出全新元宇宙网际展示空间“想世界”

  • 感知空中数字物体:Ultraleap引入新技术

  • 研究人员表示,神经网络3D场景NeRF可面向VR

     

PART1   产业动态

联想即将推出全新元宇宙网际展示空间“想世界”

2022联想Tech World上,联想集团董事长兼CEO杨元庆宣布,联想即将推出全新元宇宙网际展示空间——“想世界”,联想官网、联想未来中心等关键的客户交互平台将率先“元宇宙化”。同时,联想将与百度公司展开合作,联想元宇宙空间场景将入驻百度希壤平台。

图片

杨元庆称,联想除了算力架构的发展之外,算力购买/消费模式也在不断更新;另外,联想边缘计算产品家族也随之集体亮相,联想边缘计算解决方案已经应用于丰富场景,联想认为,中国未来五年云服务市场会以每年25%的速度增长。

图片

杨元庆表示,未来将是从计算设备到计算能力的持续演进,随着数据的爆炸式增长,需要发展“普慧算力”,杨元庆称,一个全新的数字化、智能化时代已经到来。对于计算的需求如雨后春笋,“单兵作战”的设备以及本地化的数据中心,已经远远不能满足随时随地的计算需求,这就呼唤新的计算架构的产生。“端-边-云-网”的新算力基础架构也就因此应运而生:用户手中的端,覆盖广泛的云,还有更加靠近数据产生处的边,加上传输数据的高速网络,从而为用户提供无处不在的“普慧”算力。

索尼收购Beyond Sports,将其定位为元宇宙体育门户

图片

索尼完成了对Beyond Sports的收购,收购后Beyond Sports将整合进索尼体育业务。

据悉,Beyond Sports将作为索尼体育业务的一部分与旗下鹰眼创新公司Hawk-Eye和鹰眼的数字化部门Pulselive一起运营。索尼表示,Beyond Sports 的加入将成为为索尼客户提供体育数据和技术领域端到端服务的关键支柱。

Beyond Sports提供了一个可视化引擎,可在任何平台或内容渠道上实现实时体育参与解决方案,使体育品牌和广播公司能够与传统渠道之外的观众互动,并充分利用虚拟世界和元宇宙所能提供的优势。目前,该公司的产品和服务套件涵盖并支持大量B2B和B2C应用,这些应用涉及追踪球员数据的分析和可视化。

图片

Beyond Sports还提供了定制3D环境,为元宇宙目标体育观众创造各种可能性。该公司的工作示例包括与尼克国际儿童频道Nickelodeon、美国哥伦比亚广播公司CBS和下一代统计数据Next Gen Stats的合作,以“Blocky风格”播放NFL 外卡赛,这使得现有和新粉丝能体验从未见过的独特镜头。

如今Beyond Sports已与包括华纳旗下体育频道ESPN、天空体育、职业橄榄球大联盟NFL、英超联赛、德国足球协会DFB、皇家荷兰足球协会KNVB、美国职业足球大联盟MLS、美国国家冰球联盟NHL、拜因体育beIN SPORTS及NBA在内的体育界大牌客户达成了合作。

索尼表示,Beyond Sports为索尼带来了额外的数据专业知识,特别是在人体运动科学和模块化可扩展应用方面。索尼称,Beyond Sport专有引擎将有助于加快索尼为版权所有者和粉丝提供三维可视化和应用方面所做的努力。

另外索尼收购Beyond Sports意味着任何输出格式都可以立即使用,从传统电视到完全沉浸式的VR/AR头显——索尼将Beyond Sports 定位为元宇宙(现场)体育门户。

索尼执行副总裁Hiroshi Kawano表示:“我们相信收购Beyond Sports将进一步加强我们的体育业务,以实现连接现场和打造元宇宙体育娱乐。通过最大化Beyond Sports技术和专业知识,我们旨在创造新的体育娱乐体验,以发扬体育力量和精神。”

Leia获得Aon 1.25亿美元融资,以加强知识产权组合

图片

Leia Inc.是美国一家提供基于屏幕的3D体验、无需增强现实或虚拟现实(AR/VR)眼镜的纳米技术公司,该公司最近获得了由Aon Advantage Funds LLC旗下基金投资的1.25亿美元的债务融资。

通过Aon Advantage Funds LLC.管理的基金提供的战略资本,Leia旨在获得Aon的知识产权专业知识和重要的增长资本来进一步加强其知识产权组合。

Leia首席执行官Cecilia Qvist表示:“我们很高兴Aon能成为Leia的长期增长资本提供者,以帮助我们实现3D的普及,从而建立一个全新、更好的媒介来改变人们体验数字世界的方式。随着我们继续在全球范围内扩展,Aon的资金支持将使我们能够执行公司愿景并推动Leia的创新和收入增长。”

图片

Leia正在构建一个3D Lightfield平台,并通过先进的计算机视觉算法、应用和软件工具支持内容生态系统,以提供自然身临其境、完全互动的观看体验。该公司在光场显示器中的衍射光场背光(DLB)技术基于光线来显示呈现3D物体,而无需通过XR头显或眼镜。

Aon管理合伙人兼执行合伙人Matthew Farrar表示:“Leia技术是一种非凡的第一视觉体验,我们很高兴能帮助其开发这一技术,Leia致力于将该产品交付至更广泛的多元宇宙,为广大消费者带来更多内容体验。”

Aon知识产权解决方案首席执行官 Lewis Lee补充:“创新是经济增长的关键,而无形资产则是基础,这就是为什么我们为市场带来独特的解决方案,以帮助Leia等知识产权丰富的公司基于其知识产权获得价值的原因。”

Unity完成与IronSource合并,以扩展用于游戏开发生命周期的工具和服务

图片

领先的实时3D(RT3D)内容创建和运营平台Unity完成了与IronSource的合并,巩固了该公司作为端到端解决方案商的地位,该解决方案将支持开发者无缝创建、发布、运行、货币化和开发实时游戏和RT3D内容。

Unity表示,此次合并将使其能够在整个开发生命周期中为开发者提供支持,帮助开发者构建、运行沉浸式实时游戏和3D体验。该公司补充,旗下工具和服务目前在业内“无与伦比”,Unity预计合并将有助于产生自由现金流。

Unity首席执行官John Riccitiello表示:“我们很高兴欢迎IronSource加入Unity大家庭,这使得我们离成为拥有更多创作者的世界级领先平台的目标又进了一步。总之,我们共同为开发者提供了一个完整的生态系统,以助力于开发者实现开发目标。”

Riccitiello还在博客指出,与IronSource的合并不仅是为了将用于构建、发布、运营、货币化和开发手游的工具集中,还在于将这些工具连接,从而简化整个开发过程。

Unity希望通过将IronSource产品整合至Unity平台,从而将线性手游开发转变为深度连接和互动的过程,使开发者能够在开发过程中更早获得玩家和市场反馈。Unity称,这意味着开发者可以了解玩家真正想要什么,以制作更好的游戏,并朝更成功的游戏业务迈进。

作为合并的结果,Unity表示游戏开发者现在可以使用更多工具来帮助弥合创作和增长之间的差距,从而能够提供更好的游戏体验。如果开发者选择通过游戏获利,现在还可以使用 Unity中介平台LevelPlay来帮助实现最大化收益。

ironSource首席执行官Tomer Bar-Zeev表示:“这个改变行业的合并背后的驱动力是在整个开发过程中为开发者创造更多价值,随着我们开始更深入整合我们的产品组合并加强在创造出色游戏和将其发展为成功企业之间的反馈循环,我们对未来的发展道路充满信心。”

元宇宙触觉和运动设备厂商StretchSense完成1330万新西兰元A轮融资

图片

新西兰元宇宙触觉和运动设备厂商StretchSense完成了由Par Equity领投,现有投资者GD1和苏格兰国家经济发展机构Scottish Enterprise参投的1330万新西兰元A轮融资。

StretchSense成立于2012年,由首席执行官Ben O'Brien博士、首席技术官Todd Gisby博士和生物工程教授Iain Anderson创立,总部位于奥克兰,在西雅图和爱丁堡设有办事处。目前,全球有200多家使用其技术的游戏和视觉效果(VFX)工作室。

这笔投资将进一步加速StretchSense全球扩张,StretchSense计划扩大世界级工程团队,以满足客户对动作捕捉和VR工具的需求。不仅如此,该厂商还将专注于开发新的传感器技术,以在快速发展的企业虚拟培训行业实现高精度追踪,据估计,该行业2022年市场规模超过3000 亿美元,预计到2027年,市场规模将超过5500亿美元。

StretchSense将通过建立人工智能和空间计算卓越中心来扩大其在爱丁堡的欧洲总部。为了满足全球市场强劲需求,StretchSense正在扩大三个办事处的销售和服务团队,重点关注客户支持。

O'Brien表示:“在StretchSense,我们认为高度精确、详细的手部动作将能改变游戏和视觉特效的建模,而通过这笔投资,我们正向元宇宙扩张,专注于合作伙伴关系、新技术和规模投资,以构建创造、学习、工作和娱乐的未来。”

GD1创始合伙人Chintaka Ranatunga表示:“我们很高兴继续投资StretchSense,以助力其成为人机交互领域的全球领导者。我们期待与Par Equity和StretchSense团队合作,扩大公司规模并进一步进行国际化扩张。”

The Information:苹果大约有3000名员工正在开发AR/VR头显

图片

据The Information报道,苹果大约有3000名员工正在开发即将推出的AR/VR头显。

该报道还指出,Meta Reality Labs部门从事Quest、AR眼镜和相关软件的工作人员“是其他部门的五倍以上”,这其中包括1100人负责Quest、1900人负责内容、2000人负责AR、1000人负责机器学习、1000人开发定制芯片以及2400人的研究团队。

根据最近的公开文件,今年9月,苹果雇佣了大约16.4万名员工,而Meta只雇佣了87314名员工,不仅如此苹果在全球运营,并拥有大量零售店且已在开发专属芯片,与之对比,Meta刚刚开设了第一家门店,该公司仍需与高通合作开发头显芯片。

去年,The Information、彭博社和供应链分析师郭明錤报道称,苹果将发布一款AR/VR高级头显,该头显具有高分辨率彩色透视功能。郭明錤声称这款头显的重量将明显低于当前的VR头显,并配备高分辨率OLED Micro显示屏,The Information称该头显将配置M2芯片。今年8月,一家与苹果相关的公司申请了“Reality One”、“Reality Pro”和“Reality Processor”商标,暗示这款头显及其处理器将被命名为“Apple Reality”。

今年6月,彭博社报道称,苹果正在开发核心应用realityOS版本,以及查看Mac显示器的功能、AR/VR开发工具。今年早些时候,在App Store上传日志和苹果代码中发现了对 realityOS的引用,5月,一家与苹果有关联的空壳公司注册了RealityOS商标 。

图片

今年10月,The Information报道称,苹果AR/VR头显将具有腿部追踪和虹膜扫描功能,支持登录和支付。今年早些时候,The Information发布了一份关于该项目陷入困境的历史探究报道,报道指出该头显共有14个摄像头,包括用于透视、位置追踪、眼动追踪、面部追踪、手部追踪和身体追踪的摄像头——这让硬件和算法工程师感到“头疼”。据报道,这款头显的一个特点是正面屏幕可以使其他人看到你的脸上半部和眼睛,但加入这块屏幕使得相机透视技术的开发更加困难,值得一提的是,硬件开发计划多变,甚至会在产品后期发生变化,例如Meta Quest Pro在发布前几个月放弃了深度传感器。

该报道还称,苹果“几乎从不”在内部演示中提及游戏,并且没有开发追踪控制器,输入方法为手部追踪和苹果专利申请中出现的“clothespin-like finger clip”。

另外,The Information曾报道称,苹果正考虑将这款产品的价格定在3000美元,但同时也表示在努力降低材料成本,使其更实惠,

如果到目前为止的报道是可信的,那么苹果AR/VR头显将拥有比Quest Pro更高的分辨率、更强大的处理器和更纤薄的设计。

郭明錤预计苹果将于明年1月举办媒体发布会,2-4周后交付开发套件,并于2023年第二季度启动预售。

 

PART2   硬件追踪

DigiTimes:苹果首款AR/VR头显量产将于2023年3月启动

图片

据DigiTimes报道,苹果正在推进旗下AR/VR头显的开发,和硕将成为最终组装的独家合作伙伴。根据该头显在制造验证过程中的现状,报道预测量产可能将于2023年3月启动。

据称苹果首款AR/VR头显产量非常有限,由于高昂的价格,这导致该头显主要面向商业市场。

业内人士表示,由于这款AR/VR头显售价较高,出货量有限,此前估计,该头显的年出货量将达到250万台。不过,目前粗略估计,苹果AR/VR头显年出货量约为70万至80万台,因此对于追求数量的供应链制造商来说,这并不是一个很赚钱的订单。

尽管苹果首款AR/VR头显生产利润率很低,但据称苹果制造合作伙伴愿意在该项目上与苹果合作,以证明技术能力,从而为未来AR/VR产品做准备,显而易见,苹果品牌的高知名度使得这些厂商趋之若鹜,以期盼在资本市场筹集更多的资金。

多年来苹果一直致力于开发增强现实、虚拟现实和混合现实头显,但据报道,苹果在开发方面遇到了一些阻碍其进展的困难,此前有传言称,苹果可能会在2022年某个时候展示这款头显,但供应链分析师郭明錤在今年6月表示,苹果可能将于2023年1月推出这款头显。

现在,来自DigiTimes的报道与郭的报道有着明显差异,因为郭表示,苹果AR/VR头显预购将于2023年第二季度开始,明年6月WWDC开启期间发货。

不过,郭明錤和DigiTimes都引用了类似的量产时间,只是预期发布时间不同(郭为明年1月,DigiTimes为明年4月),这主要取决于苹果偏好在头显发货之前给开发者多少开发时间。

iFixit:Meta Quest Pro拆机显示,头显具有深度传感器插槽

图片

来自硬件DIY网站iFixit的Meta Quest Pro拆机显示,该头显拥有2个冷却风扇和1个预留的深度传感器空插槽。

Quest Pro在Connect正式推出之前,被称为“Project Cambria”,Meta首席执行官扎克伯格在5月表示,Cambria将“在今年晚些时候发货”,配备了用于主动深度感应的IR投影仪,当提到Meta Quest 2基于相机的深度重建时,扎克伯格说“这其实是一种入侵”,并继续说道:“而Cambria,我们实际上有一个深度传感器。”,硬件级深度感应也“更适合手部”。

当我第一次尝试Quest Pro时,我注意到头显泄漏的设计图建议的位置上没有深度传感器,Meta证实Quest Pro没有深度传感器,称“Quest Pro使用前置摄像头”,并声称“扎克伯格指的是该设备之前的原型版本中包含的另一种深度传感系统。”

图片

Meta首席技术官Andrew Bosworth表示,Meta“最终认为,Quest Pro增加重量不足以弥补成本,但其实增加和移除的重量则能使我们在如何采用现有传感器方面更具有灵活性”。

图片

如今,iFixit对Quest Pro的全面拆机显示,深度传感器插槽仍然存在,但未被占用。iFixit Shahram Mokhtari表示,用于深度传感器的带状电缆实际上“仍然存在并且似乎可以正常工作”,因此,Mokhtari认为,这意味着理论上,你仍然可以添加深度传感器——尽管在实践中这显然需要固件和软件集成。

另外拆机还显示,头显的LCD面板正后方有两个大型冷却风扇,Quest Pro通过500多个迷你LED背光实现局部调光,这比传统背光产生更多热量;此外Quest Pro还拥有一个更耗电的处理器,更大的RAM和两倍于Quest 2的传感器数量,所有这些都会产生热量。

我们建议Quest Pro粉丝观看完完整iFixit拆机,以了解更多Quest Pro背后的复杂工程。

夏普旨在通过车用显示器与VR装置显示业务获利

图片

由于LCD面板市况不佳,再加上以日本市场为主的家电事业遭逢日圆大幅贬值的负面影响,夏普(Sharp)2022年度上半(2022/4-2022/9)的营收虽年增3.3%,但营益年减93.8%,并下修2023年3月底的全年度财测,年度营益预料将年减70%,税后纯益将年减93%。

根据官方财报数据,显示器事业部门2022年4月-9月营收减少的原因,因显示器市况不佳、疫情对生产与客户需求的不利影响,以及智能手机面板的需求减少,但财报指出,只有车用显示器与VR装置显示的销售有所成长。

夏普新任社长吴柏勳4月12日表示,将通过提供健康管理服务产品来强化消费电子品牌,以推动海外业务成长,另外将通过向电动车和虚拟现实(VR)装置供应面板,来改善夏普液晶面板事业的获利。

吴柏勳说:“我打算让品牌转型”,意指夏普目前太过聚焦在电视和冰箱等传统电器。他同时表示,将通过向电动车和虚拟现实(VR)装置供应面板,来改善夏普液晶面板事业。

另据日经亚洲报道,多年来致力于研发高性能VR显示屏的日本显示屏厂商夏普正开始获得回报,该公司也契机大举投注“元宇宙”。

夏普于2016被富士康收购并涉足VR开发领域,公司将更多资源投入了利润更高的虚拟现实和汽车解决方案利基市场。

据知情人士透露,去年,高端VR显示屏为夏普带来了可观的收入,自去年第四季度以来,夏普高端VR显示屏月出货量超过了100万台,另外,夏普还是Meta Quest 2显示屏最大供应商。

根据日经亚洲的分析和采访,以每台显示屏大约50美元的成本估算,2021年夏普VR显示屏销售额超过2亿美元(显示屏和处理芯片是VR设备中最昂贵的组件)。

Meta Quest Pro手柄拇指托是“秘密触摸板”

图片

Meta Quest Pro手柄拇指托实际上是一个秘密触摸板。

这个未记录的特性是由一位名叫“Shiny Quagsire”的逆向工程爱好者发现的,他在Twitter上发布的短片中演示了手柄触摸板的功能,同样Valve Index手柄也具有拇指杆和触摸板。

Meta称Touch Pro手柄的弯曲部分面向拇指托,Meta将其描述为压力传感器,称它可以感应高达6牛顿的力。当与来自Index触发器的输入相结合时,这可以实现“精确捏握”交互以及挤压拇指和手指之间的物体。但Meta从未透露拇指托其实也是一个触摸板,并且这种输入在公开可用的API中不可用。

图片

这一发现引出了一个问题:Meta为什么要隐藏这一功能?至少,拇指托可能有助于增强社交表达——Touch Pro手柄还具有食指卷曲和滑动感应功能。除此之外,它还可用于滚动菜单或应用和游戏中的独特交互。

另外,也许是传感器不够灵敏,或者存在一些质量问题,所以拇指托还不能在所有制造单元上正常工作?也许,Meta最终决定不将主流和高端手柄输入分开,又或者,支持该功能的

固件或软件可能尚未准备好启用,所以,Quest Pro手柄“拇指托触板”是一个令人惊讶的Quest Pro发布后的新功能。

随时为“爱机”充电,Turtle Beach推出Quest 2充电站

图片

美国游戏头显和配件制造商Turtle Beach推出了Quest 2充电站,以使Quest 2用户随时为“爱机”充电。

该设备名为“Turtle Beach Fuel Compact VR充电站”,可为Quest 2和Touch手柄提供充沛电量。

该VR充电站可充电电池与Touch手柄可更换磁性电池配对,使你无需手动更换电池即可对接和充电手柄,Turtle Beach表示充电站电池可以提供20小时的游戏时间。

图片

至于头显,Fuel Compact VR充电站使用可拆卸的USB-C磁性适配器,大约2.5小时即可充满电。

另外,如果用户没有使用Link接入有线PC VR进行游戏会话的话,从理论上讲,用户可将磁性USB-C端口无限期插在头显充电端口。

不过,由于USB-C磁性适配器只适用于给头显充电,因此,如果你需要插入另一根电缆,这个可拆卸的适配器也十分方便取出。

图片

目前,适配于Quest 2的Fuel Compact VR充电站可直接从Turtle Beach和亚马逊等零售商处预订,售价为80美元,将于11月21日正式上市。

Turtle Beach是耳机和其他游戏配件(例如飞行模拟设备、控制器和麦克风)领先厂商,Fuel Compact VR Quest 2充电座是其首次进军VR配件市场的产品,为此,我们希望这款Quest 2充电站能够带给广大Quest 2用户流畅的无缝体验。

 

PART3   技术速递

感知空中数字物体:Ultraleap引入新技术

图片

Ultraleap新技术将使数字内容能在空中被感知,而全新硬件更有助于该技术取得突破。

Ultraleap研发了超声波换能器,从而实现无需设备即能获得触觉体验,用户可以感知空中虚拟物体,并通过手势与之互动。目前,Ultraleap正在升级所需硬件,以使其更高效,更适合大规模生产。

Ultraleap驾驶舱技术:手势控制代替触摸屏和按钮

Ultraleap于2019年由Leap Motion和Ultrahaptics合并组成,这两家公司专门从事手部追踪和XR触觉技术,Leap Motion主要专注于手部和手指追踪,而Ultrahaptics则推出了“ultrasonic carpets”,可使空气中虚拟物体的轮廓清晰可见。

两家公司合并后,Ultraleap以先进的XR接口为发展方向,并将手指跟踪和空中触觉技术结合,同时,除了XR行业,Ultraleap近几年也专注于汽车领域,希望用“虚拟触摸技术”取代驾驶舱内的触摸屏和物理控制。

手势控制本身并不是什么新鲜事,谷歌在2019年通过Pixel 4智能手机发布了Soli雷达控制。例如,通过手指手势,媒体播放器可以在用户没有触摸显示器的情况下进行播放。

如今,Ultraleap的虚拟触摸技术更进一步,将基于超声波的触觉投射到空气中。与Soli相比,基于虚拟触摸技术的用户可以感受空中的虚拟物体,并通过转动或滑动手势操作在驾驶舱内进行调整。

空中触觉技术将朝小型化、低成本方向发展

图片

Ultraleap首席执行官Tom Carter在Twitter解释了这项技术,“超声波换能器就像小型扬声器,将超声波投射到你的手上以产生触觉效果。” 而开发换能器最困难的部分是将电能转化为声音。

“对于在空气而不是水中(声纳)或人体组织(医疗)中运行的换能器而言,这一挑战更加困难,要将能量转换为目标介质,你需要使用匹配层。”Tom Carter指出。

Tom Carter称,Ultraleap换能器厚度仅为波长的一小部分,且不会牺牲性能,这种设计也大大简化,使Ultraleap客户制造和安装成本更低。

以更高效的硬件摆脱利基市场

因此,新的超声波换能器比以前的型号更小、更便宜、更容易制造,同时保持相同的性能,Ultraleap预计这将带来更高效的制造流程,并首次实现真正可扩展的空中触觉生产。

目前,虚拟触摸技术有望在汽车行业获得认可,因为手势控制的优势是显而易见的:驾驶员无需在触摸屏上搜索按钮或控件,就能时刻关注道路。

元宇宙的成功取决于与虚拟对象的交互

如上所述,Ultraleap的根基在于为元宇宙奠定基础的技术,尽管该公司目前主要活跃于其他行业,但其认为空中触觉是混合现实应用交互的一项重要创新。

该公司表示,“元宇宙”被用以描述一个数字内容以3D形式存在并与物理世界融合的世界是恰当的,元宇宙的成功很大程度上取决于人们如何与虚拟对象进行交互,在这其中手部追踪和空中触觉技术将起着至关重要的作用。

研究人员表示,神经网络3D场景NeRF可面向VR

图片

NeRF指的是神经网络中的3D场景,研究人员表示,一项新研究将使AI应用于动态场景,这使得NeRF可面向VR。

神经辐射场(NeRF)从图像中学习3D表示,然后可以从以往看不到的角度渲染3D场景,例如,这将能实现围绕物体进行360度摄像机巡视、通过无人机镜头进行飞行巡视或在餐厅内部漫步,不仅如此该技术还可以创建逼真的3D对象。

图片

然而,在几乎所有情况下,NeRF场景或对象都是静态的,因为运动为训练过程引入了难以解决的时间维度,现在,一个新的工艺可以解决这个问题。

动态场景NeRF

在一篇新的研究论文中,来自布法罗大学、苏黎世联邦理工学院、InnoPeak Technology和图宾根大学的团队演示了从2D图像中学习4D表示的NeRF动态场景。

该演示以来自不同相机或单个移动相机的RGB图像为输入源。例如,图像中,一个人正在移动或有人正在将咖啡倒入玻璃杯中。

图片

为了使动态场景具有自适应性,团队将演示分为了三种时间模式:静态、变形和新区域。在咖啡示例中,放置玻璃杯的木板保持静止,玻璃杯整体物被归类为新区域,可见的手被归类为变形,分解字段将场景划分为三个类别,每个区域都有专属神经域。

不仅如此,研究人员还将时间和空间维度解耦以改善表征。

NeRFPlayer启用NeRF流

与其他方法相比,动态场景分解表示显著减少了视觉伪影,该团队还演示了NeRFPlayer,这是一种以有限比特率实时流式传输学习表示的方法。

NVIDIA InstantNGP框架允许神经网络在几秒钟内学习千兆像素图像、3D对象和NeRF表示,也使得所提出的方法更快速。

“我们提出了一个框架,用于从多相机和单相机捕获的图像以表示动态场景,我们框架的关键组件是分解模块和特征流模块,分解模块将场景分解为静态、变形和新区域,然后设计了一种基于滑动窗口的混合表示以对分解的神经场进行建模,并通过多相机和单相机数据集实验验证了该方法的有效性。”

在论文中,该团队将虚拟现实中真实4D时空环境的视觉探索描述为可视化,并认为其研究有助于这一目标的实现,“在VR中自由可视化探索4D时空是一个长期追求,当仅使用几个甚至单个RGB相机来捕捉动态场景时,这项任务更具吸引力。”研究人员说。

Mojo Vision开发适用于Mojo Lens原型的Alexa购物清单应用

图片

美国AR隐形眼镜厂商Mojo Vision宣布,已开发了适用于Mojo Lens原型的Alexa购物清单应用。

Mojo Vision称,这是其智能隐形眼镜的第一个主要第三方消费者应用,而该应用则支持Alexa语音AI与Mojo Lens独特而强大的基于眼动追踪的界面集成。

目前,Mojo Vision在开发智能隐形眼镜方面取得了重大进展,该公司还在继续研究和寻找这一突破性解决方案的新潜力。

“Alexa购物清单”展示了Mojo Vision免提技术与亚马逊Alexa语音AI和Alexa 购物清单功能的兼容性,该用例设想了一种体验,人们可以在杂货店(或任何其他零售店)不受干扰访问购物清单。

图片

Mojo Vision工程副总裁、首席技术官兼联合创始人Mike Wiemer表示:“Alexa购物清单是Mojo Lens成为眼动、免提消费者应用和体验平台的有力示例,借助Alexa,亚马逊从根本上改善了人们通过语音与技术互动的方式。同样,Mojo Vision也看到了类似的机会,我们深知视觉在感知世界与世界互动方面发挥着不可或缺的作用,而Mojo Lens将帮助人们以一种不会分散他们对周围世界的注意力的方式快速访问信息。”

Alexa Shopping List总经理Ramya Reguramalingam也对“Alexa购物清单”应用发表看法:“在亚马逊,我们相信通过技术可以改善体验,我们很高兴看到Mojo Lens隐形计算与Alexa 购物清单相结合,为消费者带来免提、流畅的智能购物体验。”

Mojo Vision将继续开发Mojo Lens,这是世界上第一款真正的智能隐形眼镜,Mojo Vision在最近展示了Mojo Lens最新原型,该原型拥有许多功能,包括世界上最小和最密集的动态显示、低延迟通信和眼睛控制的用户界面。

 

PART4   应用速递

Auki Labs发布AR“即时校准”工具ConjureKit

图片

ConjureKit是Auki Labs开发的新型社交AR SDK,其支持开发者创建AR体验,用户可以轻松将AR对象放置于所处物理环境,而无需扫描周围世界,更神奇的是,你还可以邀请多人加入体验并与对方实时互动。

Auki Labs业务开发主管 Johannes Davidsson谈及了该SDK工具:“到目前为止,AR一直是一种单独的体验,部分原因是设置共享AR会话非常缓慢,且对开发者而言很难实现,而目前我们正处于将数字信息带入物质世界的边缘,现在,我们基于ConjureKit构想了一个世界,使任何人都可以在设备上同时看到数字信息和高精度的物体精确位置。”

总部位于香港的Auki Labs成立于2019年,彼时CEO Nils Pihl和一个工程师团队正在为流行PC游戏「Warhammer 40K」开发AR测量工具,遗憾的是,受限于当初的AR技术,Auki Labs并未能创造出真正的共享体验。

图片

在经过大量尝试之后,最终,该团队开发了“即时校准”系统,通过这种方式,用户可基于二维码加入彼此游戏,而这过程只需在一台设备上打开应用程序并扫描屏幕上的代码即可立即加入。

值得一提的是,这无需预先扫描所处环境或通过网络发送环境数据,即能实现设备之间的即时校准。

“Auki Labs正在研究一种能够在几分钟内完成持久AR的技术,”Davidsson表示,“你可以扫描墙上指定的二维码,然后在教室中间添加一个太阳系3D模型,当学生进入房间,扫描墙上的实体二维码,太阳系便能赫然出现眼前,同时,动画将在所有设备上同步,毫无疑问这种类型的教育方式可以节省教师准备课材的时间。”

不仅如此,ConjureKit还可面向游戏和教育之外的领域,Davidsson表示,Auki Labs技术将“对空间信息正确显示产生明显的影响,ConjureKit更可视为企业解决方案”。

可15秒内转换VR场景,DNP推出“VR虚拟房屋演示应用”

图片

日本印刷株式会社(DNP)开发了“DNP虚拟体验VR演示”(DNP Virtual Experience VR Presentation Gateway)软件,可在15秒内将用于定制房屋等商务谈判的住宅演示软件数据转换为高清VR,该应用将在本月上市。

据悉,“DNP虚拟体验VR演示”是一项支持用户在高清VR空间内自由移动的服务。该应用可以帮助客户更好理解建筑商提出的住宅方案,从而缩短会议时间、简化操作和提高合同签订率,实现销售活动的数字化转换(DX)。不仅如此,“DNP虚拟体验VR演示”更能在短短15秒内将独栋房屋的演示数据转换为高清VR。

图片

这样一来,建筑商就能根据业主要求,随时以通俗易懂的方式对房屋进行说明,从而获得业主的高度认可。

值得一提的是,采用“DNP虚拟体验VR演示”转换VR时无需进行详细设置或调整。因此,即使不是专业技术人员也可以轻松将演示软件的数据转换为VR内容。

通过使用易于操作的控制器,建筑商和客户均能在VR空间中自由移动,以进一步讲解过期房屋结构以及加深客户理解,直至最终确认方案。与传统方案相比,VR房屋虚拟体验使得建筑商与业主之间的沟通分歧明显减少,大大提高了房屋设计和建筑效率。

另外,该软件还集成了数据转换引擎和查看器,并兼容DTS Co., Ltd.的住宅演示软件“Walk in home 2022”。

展望未来,DNP的目标是将“DNP虚拟体验VR演示”推广至包括房屋建筑商和建筑公司在内的房屋销售市场,并陆续完善相关产品和服务,致力于在2025年实现约10亿日元的销售额。

此外,“DNP虚拟体验VR演示”定位为DNP从2021年开始推动的XR通讯业务的一环,并计划支持VR头显、Web浏览器观看,使其与元宇宙联动成为可能。

Holoride车载VR娱乐系统正式推出

图片

Holoride宣布在德国推出车载VR娱乐系统,特定奥迪汽车用户可以购买Holoride “Pioneers' Pack”以将汽车转变为一个“随时移动的虚拟空间”,在其中,你将能畅玩游戏、浏览网页。

Holoride凭借其对实时车辆数据(包括转向、制动和加速)的有效整合,使其脱颖而出,该系统具有不断增长的交互式和被动应用阵容,可以对用户以及车辆的运动做出响应,这不仅可以让用户进一步沉浸,而且还有望减轻晕动症。

Holoride首席执行官兼联合创始人Nils Wollny表示:“尽管过去几十年汽车技术取得了惊人进步,但乘客体验和车内娱乐基本上保持不变。而随着Holoride车载VR娱乐系统的面世,我们不仅改进了陈旧的体验,更重新定义了车内娱乐的方式。”

图片

据悉, Holoride “Pioneers' Pack”包括以下内容:

HTC VIVE Flow:由Android智能手机驱动的轻量级VR眼镜;

8BitDo Pro 2游戏手柄:经典游戏手柄,支持你与虚拟内容交互;

安全带:在特别颠簸的行驶过程中提供额外的安全保障;

Holoride平台一年订阅(一年后每月19.99欧元)。

不仅如此,Holoride还将推出一款游戏:「Cloudbreakers: Leaving Haven」,这款第三人称动作射击游戏由Schell Games开发,在游戏中玩家将扮演一名无人机飞行员,与空中一波又一波的AI哨兵作战。

除了游戏,Holoride还具有专用的网络浏览器,可让用户镜像智能手机屏幕,并在180英寸的大型虚拟显示器上欣赏喜爱的内容。展望未来,Holoride计划推出新的游戏和应用,包括各种寓教于乐的内容。

奥迪数字体验/业务主管Giorgio Delucchi补充:“通过集成Holoride,我们将重新定义车内娱乐,基于实时车辆数据和虚拟内容,我们正在创造全新的客户体验。车辆数字化的一个关键是将车内发展成为第三生活空间,在这个非常私人的空间里,你将能生活和工作两不误。”

Meta Quest「Remote Display」(Beta)已上线

图片

Meta似乎正在测试一款全新远程显示应用,该应用支持Mac或PC连接Quest Home。

我们在上周的一篇社论中询问了这一功能, Meta VR副总裁证实,“PC流媒体”是该公司正在开发的功能之一。从Facebook上的一篇文章来看,该功能正式版本推出可能会更早,而不是延迟,不过,用户体验这项功能可能还需要一段时间,因为Meta经常在更广泛的功能推出之前,会以beta版本测试新功能。

去年, Meta推出了一款针对虚拟会议的应用「Horizon Workrooms」,同时,还推出了一款远程桌面应用,支持用户的Mac或PC连接至Meta Quest 2;虽然该应用为多用户会议提供了空间音频以及其他一些创新功能,但「Horizon Workrooms」仍是一个需要额外下载的应用,特别是在VR用户快速访问PC或Mac时容易破坏沉浸感,如今,“远程显示应用”可能会改变这一点。

图片

我们已经联系了Meta以咨询Remote Display是否适用于Quest 2和Quest Pro,目前,Quest Store上线了Meta Quest Remote Display(Beta)应用,其中提到了手部跟踪和手柄追踪支持。上方嵌入的屏幕截图显示了Quest窗口运行时访问计算机的状态,Remote Display(Beta)应用描述称,“已针对Meta Quest Pro彩色透视功能进行了优化”。

 

PART5   游戏资讯

Netflix参与制作,「Stranger Things VR」将于2023年推出

图片

「Stranger Things VR」将于2023年底推出,VR游戏领域最具创新性游戏工作室之一将与 Netflix合作制作这款游戏。

据悉,独立游戏工作室Tender Claws正与系列编剧合作开发和发布「Stranger Things VR」,以揭示Henry Creel转变为反派Vecna的过程。玩家将侵入角色梦境和记忆,并利用心灵感应能力与人类和未知生物作战。

图片

这款游戏以心理恐怖和动作为特色,以“从前所未见的Vecna视角来探索未知,从而形成蜂巢思维,以进一步制定报复Eleven和Hawkins”,「Stranger Things VR」将于2023年底登陆“主要VR平台”,该作预告片现已在YouTube曝光。

Tender Claws是「The Under Presents」、「The Tempest」、「Virtual Virtual Reality」等开创性VR体验的开发商,该工作室在开发Quest内容方面颇有心得,特别是在「The Tempest」展示了VR优于传统媒介诸如“无缝衔接虚拟与现实、心灵感应、恐惧表现等方面”的独特优势,由此,我们非常期待团队该如何和「Stranger Things VR」编剧通力合作以打造这一大作。

图片

「Stranger Things VR」导演Samantha Gorman和Danny Cannizzaro联合表示:“我们很高兴能打造Stranger Things宇宙,并基于Tender Claws独特的嵌套世界和沉浸式梦境方法潜入角色丰富的内心世界。作为粉丝,我们希望这款游戏非常特别,在这里特别感谢Netflix和Tender Claws创意团队。”

值得一提的是,尽管文中“主要VR平台”没有具体说明,但我们注意到PSVR 2计划在明年2月发布,而Meta也已在考虑Meta Quest 3在明年晚些时候发布,因此「Stranger Things VR」极有可能登陆PSVR 2和 Quest 3平台。

赋予逼真赛马体验,VR育马者杯赛马体验推出

图片

凭借VR技术的力量,参观一年一度育马者杯世界锦标赛的粉丝将有机会成为一名职业赛马手。

The Blood-Horse报道,VR育马者杯赛马体验(JockeyCam VR)由电影公司Equine Productions出品,该公司开发了赛马手佩戴的轻型发射器“JockeyCam”,以使观众能从赛马手角度欣赏比赛,从而赋予观众沉浸式赛马体验。

图片

Equine Productions联合创始人Nathan Horrocks表示:“我认为这是我们能给那些不从事这项运动或与这项运动无关的人最直观的骑马体验,一种驰骋于赛场的快感。”

通常情况下,用户会坐在一个独特的、可模拟马鞍的长凳上,不过,这个专门马鞍不包括在VR育马者杯赛马体验内。VR育马者杯赛马体验本身就是精心编排的360度比赛镜头。因此,用户无需与虚拟世界进行交互,即能快速沉浸其中。

图片

“在最后两英里半的赛程中,镜头表现的内容将更像是一场真正的赛马比赛,通过VR体验,观众将能感受到亲临赛场的紧张、刺激感。”Nathan Horrocks说。

VR育马者杯赛马体验将于11月4日至5日育马者杯世界锦标赛期间开启试用,你可访问育马者杯世界锦标赛网站下载该应用,以环顾装有多达14个摄像头的基兰赛场全景环境。

 

PART6   会议

第二十二届中国虚拟现实大会正式启动!

图片

第二十二届中国虚拟现实大会(ChinaVR 2022)将于2022年11月18-20日在云南昆明举行。ChinaVR是国内顶级的虚拟现实领域学术会议,将共同探讨虚拟现实前沿科技进展、关键技术创新与展望、产业技术开发与推广应用等话题。ChinaVR 2022 将邀请包括院士、杰青、长江学者、行业技术专家等在内的国内外虚拟现实领域的专家学者,为参会者带来高水准特邀报告、主题论坛及年度进展报告、学术论文交流报告、会前课程、VR之夜、博士生论坛、大咖面对面、墙报与演示等内容,同期将举办2022年中国虚拟现实大赛(CCVR 2022)决赛,以及2022年国际虚拟现实与可视化会议(ICVRV 2022)。现向广大科研工作者公开征集原创性的高质量学术论文,欢迎从事虚拟现实以及相关领域研究的专家、学者、学生,以及工业界的专家、技术人员、工程师等踊跃投稿与参加!

主办单位:中国仿真学会、中国图象图形学会、中国计算机学会

承办单位:北京航空航天大学云南创新研究院、云南大学、云南艺术学院、昆明理工大学

协办单位:中国仿真学会虚拟技术及应用专业委员会、中国图象图形学学会虚拟现实专业委员会、中国计算机学会虚拟现实与可视化技术专业委员会

支持单位:虚拟现实技术与系统国家重点实验室(北京航空航天大学)、北京市混合现实与新型显示工程技术研究中心(北京理工大学)、计算机辅助设计与图形学国家重点实验室(浙江大学)、文旅部闽台非遗文化数字化保护与智能处理文化和旅游部重点实验室(厦门大学)、云南省人工智能重点实验室(昆明理工大学)

重要日期:

投稿截止:2022年9月10日

注册开通:2022年9月15日

论文录用:2022年9月30日

终稿截止:2022年10月15日

会议召开:2022年11月18-20日

会议网址:http://chinavr2022.aconf.cn/

码获取更多信息

图片

2022世界VR产业大会

图片

当今世界,新一轮科技革命和产业变革蓬勃发展。虚拟现实是新一轮科技革命的代表性技术,伴随5G商用加速到来和“元宇宙”概念的兴起,将成为驱动数字经济发展和产业转型升级的关键技术,深刻改变人类生产生活方式。大力发展虚拟现实,已是许多国家和地区的共同选择。

我国经济进入高质量发展新阶段,正在加速形成新发展格局。虚拟现实跨界融合了诸多前沿技术,拓展了人类的感知能力,改变了产品形态和服务模式,既是满足人们对美好生活向往的重要介质,也是构建新发展格局的生力军。

江西地处中国中部,拥有变革创新的基因和开放发展的美好愿望。在综合判断全球技术变革大势和我国、江西发展需求的基础上,决定将虚拟现实作为发展新经济、培育新动能的重要突破口,通过搭建世界VR产业大会平台,推动产业国际交流,重塑江西产业发展格局,加快实现高质量跨越式发展。

2022世界VR产业大会定于2022年11月12日—13日在江西南昌市举行。

主办单位:工业和信息化部 江西省政府

承办单位:中国电子信息发展研究院 江西省工业和信息化厅 南昌市人民政府 虚拟现实产业联盟

时间:2022年11月12日-13日,会期2天

地点:江西省南昌市

线下主会场:南昌国际博览城绿地铂瑞酒店

线上主会场:元宇宙平台

大会活动:

包括开幕式和主旨演讲,多场高峰论坛、主题论坛、企业生态论坛,多场次产业对接、会议体验等系列活动,线下线上同步进行,适当引入VR/AR、AI、新型显示等技术,创新会议举办和直播形式,通过主流媒体平台、社交网络向全球实时发布。

大会宗旨:

大会秉承“国际化、专业化、品牌化、大众化”的办会宗旨,树立“VR让世界更精彩,江西让VR更出彩”的大会品牌,按照“在不变中巩固优势、在变化中创新特色,全力打造3.0版本世界VR产业大会”的总体要求,聚焦虚拟现实发展的关键共性问题,探讨产业发展趋势和解决之道,展示虚拟现实领域最新成果、前沿技术和最新产品,推动行业应用和消费普及,搭建虚拟现实的创新合作平台、国际交流平台和成果展示平台,汇聚全球要素资源,切实把2022世界VR产业大会办成全球VR/AR/MR领域规格最高、规模最大、影响力最强的顶级峰会。

大会日程:

 


欢迎您的宝贵建议和投稿!

联系方式:

端木海婴:18802154333(同微信)

杨     辉:13970929926(同微信)

刘 向 群:18101039058(同微信)

邮       箱:technews@chinavr.org


联合出品:

中国计算机学会虚拟现实与可视化专委会(CCF-TCVRV)

中国图象图形学学会虚拟现实专委会(CSIG-VR)

中国仿真学会虚拟技术及应用专委会(CSF-VTA)

中国电子学会虚拟现实分会(CIE-VR)

本期信息来源:以上信息来自未来科技全接触、93913、中国人工智能学会、中国仿真学会、中国计算机学会、中国图象图形学学会等综合整理

格式编辑:小艾