发布时间:2020-08-31 14:04 原文链接: “视频精灵”,让AI敢为人师

  近日,美国斯坦福大学一个研究团队在预印本论文网站arXiv上发布论文。研究人员将“视频精灵”(VideoSprites)技术应用在网球赛中,建立一种行为模型并将其与基于图像的渲染结合,构建出可交互控制的视频,来模仿顶级网球职业选手的风格和表现。

研究者认为,该系统具备生成逼真游戏视频的能力,具有交互式用户控制功能,从而获得体育娱乐新体验,也可应用于运动员视频分析和教练。

AI教练,真的来了么?

前所未见的对决

受新冠疫情影响,今年许多体育赛事延期或取消,作为世界上最古老的网球赛事——温布尔登网球锦标赛(温网)也未能幸免。所幸,科学家用AI系统合成了逼真度极高的虚拟比赛作为弥补,该系统甚至能为我们带来实际生活中不可能出现的“名家对决”。

在竞技体育领域,人们经常利用海量比赛视频,创建对运动员行为的预测模型。受此启发,斯坦福大学的研究人员利用带标注的击球周期(包括每次击球时从准备、击球到复原的一系列动作)数据库,构建了运动员行为的统计模型,并生成球员的击球选择和回位决策。

基于多样化的现实数据渲染高质量视频,该研究提供了一种创建真实视频片段数据集的方法,并用于创建可控制视频系统。这一过程涉及神经图像迁移方法,可以消除不同比赛日或不同比赛时间运动员外观(着装发型等)的差异。当运动员在画面中被部分裁剪时,系统还能补齐缺失的像素数据,使新视频具备一定的稳定和连贯性(如运动员对球判断后作出的回应姿势)。

除此之外,该系统创建的视频支持交互控制。比如,你可以控制网球的落点和运动员击球后的回位。你甚至可以“修改”之前的比赛,如2019年温网男单决赛中,德约科维奇与费德勒那场史诗级对决,通过这个系统修改比赛中的关键一球,颠覆原来的结果。该系统还能创建一些从未见过的对垒,比如费德勒自己和自己打球。

“智能陪练”越来越多

“我们的系统理论上可以直接应用到乒乓球或者羽毛球,只要有相应的视频数据集,就可以生成乒乓球或者羽毛球的视频。”论文第一作者、斯坦福大学博士生张浩天通过邮件告诉《中国科学报》,“目前来看,如果想应用到其他运动领域,比如篮球或者足球,大体的思路也相同,是可行的。”

据张浩天介绍,该系统具有交互式用户控制功能,可应用于运动员视频分析和教练。除网球外,还可应用于其他运动领域,但需要克服一些问题。比如复杂的相机视角,以及如何训练多个球员之间战术配合的模型。

“目前这篇论文是针对网球场景去研究的,用了不少关于网球的专业知识。如果应用于其他运动项目,相关领域的专业知识需要根据具体项目重新梳理和构建。”中科院自动化所研究员兴军亮分析道,“在此条件下,该技术可以延伸到兵乓球、羽毛球、篮球等技能型运动项目。”

“针对网球的系统已经完成了。”张浩天说,“其中视频标注是重要内容,需要一些工作量,不过绝大部分标注工作可以由AI模型自动标注,比如运动员的定位和姿势等,只有小部分信息需要人工标注。”

兴军亮认为,即使在不偏重具体动作、技能的项目,未来也会出现一些利用AI技术的教练教学手段。比如,主要侧重于策略思考的围棋,现在AlphaZero等AI技术已经用于围棋选手的培训。

“之前腾讯人工智能实验室研发的围棋AI——“绝艺”已经用于我国国家围棋队的培训。以后各种技能运动中的智能陪练应用肯定会越来越多,而且我觉时间不会太遥远。”兴军亮说,“但是,这些智能陪练不一定基于VideoSprites这项技术,基于其他相关技术的产品也会不断出现。”

AI教育仍需努力

去年,教育部曾公布“基于教学改革、融合信息技术的新型教与学模式”实验区名单,要求各实验区认真落实“发挥网络教育和人工智能优势,创新教育和学习方式”的要求。今年年初爆发的新冠疫情,客观上也助推了线上教育、AI教育的发展,但AI教育仍然面临成本、技术、伦理等诸多难题。

“我对AI教育持谨慎态度。”北京师范大学教育学部教育技术学院教授杨开城说,“多数情况下,学生成绩差的原因并非智力因素,这是AI暂时无法解决的问题。”

杨开城认为,不同的教育对象、教育目标和教育需求,应使用不同的教育手段和教育方法。教育的对象是人,教育过程不只是传授知识,还要教会学生如何做人。而算法容易将人的本质简单化、线性化,出现只见“教书”不见“育人”的窘况。

“教育过程中除了‘言传身教’对被教育对象产生影响外,还存在人与人之间的情感交流体验。在完成某些单项任务时,AI有处理数据快速准确、不知疲倦的优点,但它也有些难以克服的问题。”杨开城说,“比如教师在发现某个学生的弱点或缺点时,会考虑是否告诉他本人?是采取‘鼓励教育’还是用‘激将法’?这些是AI的无法做到的。”

此外,准确的教育基础数据,是AI成功应用于教育领域的关键。

相关文章

猪肉为什么会成为运动员的饮食禁忌?

2019年,孙杨因为此前的兴奋剂抗险事件在瑞士蒙特勒出席了国际体育仲裁法庭听证会。这场一波三折的听证会结束以后,孙杨母亲向记者哭诉,对于兴奋剂我们都是非常非常注意的,已经十几年没有吃猪肉了。坦白来说,......

顶尖运动员脑中有6大“秘密武器”

尽管2024年巴黎奥运会已落下帷幕,但顶尖运动员在比赛中努力突破自我和人类极限的精彩瞬间,仍深深印刻在观众的脑海中。美国趣味科学网站在近日的报道中指出,这些顶尖运动员实现“更快、更高、更强”目标的法宝......

顶尖运动员脑中有6大“秘密武器”

运动员的大脑在许多方面与普通人不同。击球手大脑某个区域的神经元会根据他们对投球的预测而产生不同反应。图片来源:美国趣味科学网尽管2024年巴黎奥运会已落下帷幕,但顶尖运动员在比赛中努力突破自我和人类极......

快手“可灵”大模型发布图生视频功能

6月21日,快手的视频生成大模型“可灵”再进化,正式推出图生视频功能,支持用任意静态图像生成5s视频,并且可搭配不同的文本内容,实现丰富的视觉叙事。上传经典油画《蒙娜丽莎》,可灵能够让蒙娜丽莎戴上墨镜......

对标Sora,快手发布文生视频大模型“可灵”

近日,国内头部短视频平台“快手”发布了首个“Sora级”的文生视频大模型“可灵”,并宣布面向用户开放。据快手方面介绍,可灵大模型为快手AI团队自研,采用与Sora相似的技术路线,并结合多项自研技术,能......

“铁塔哨兵”用高科技守护绿色家园

2023年9月13日上午10时10分,湖南衡阳市祁东县玉合街道绿野村,一台挖掘机缓缓驶入生态保护红线范围内作业。12分钟后,“铁塔哨兵”发出监测预警,系统自动生成“告警卡”,经过内业人员判别后,于12......

聚焦术语,第二届高校科普短视频大赛启动

4月28日,高校科普短视频大赛在北京正式启动。据介绍,高校科普短视频大赛以鼓励学生创造性的方式将术语和名词呈现给大众,让科学、技术、社会和文化的知识更容易被大众理解。大赛以科学技术名词为切入点,以提高......

OpenAI再出王炸,视频生成大模型Sora备受关注

人工智能(AI)领域的巨头OpenAI再次引发关注,其最新推出的视频生成大模型Sora因其出色的逼真度和想象力广受赞誉。相较于传统视频生成领域的平均4秒长度,Sora能够生成长达60秒的视频,这一创新......

海能技术:2023,感谢认真生活的你!

候鸟掠出线影,年轮将添新纹,年末回首,身后的步履构成了我们生命年轮中珍贵的一环。且看来时的路,步步坚定。日月其迈,时不可忘。过往的每一步、每一个瞬间、每一次努力、每一次回忆……都值得被记录。我们试图将......

研究监测发现精英运动员存在心脏变化的遗传倾向

研究评估精英运动员异常心脏功能和遗传因素一项涉及澳大利亚和比利时281名精英运动员的研究发现,六分之一的运动员存在心脏测量值,通常表明心脏功能减弱。遗传分析进一步揭示,这些运动员还具有与心肌疾病相关的......