您现在的位置:主页>农业资讯

农业资讯

您的当前位置:农业资讯

我的世界自动种植小麦(李飞飞高徒新作30万小时视频教会AI在《我的世界》里打败末影龙)

时间:2024-04-16 00:43:49

点击:

编辑:袁榭 桃子

【新智元导读】近日,李飞飞高徒和团队研究人员提出了基于《我的世界》游戏新框架MineDojo,可以让AI自由探索程序生成的3D世界。


上周,OpenAI让AI看完海量视频后,学会玩《我的世界》。

在这之前,来自英伟达团队的研究人员还构建了一个游戏新框架MineDojo。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

MineDojo包含了1000多种不同的开放式任务的模拟套件。

在这里,AI智能体可以自由探索程序生成的3D世界。

李飞飞在社交媒体上称赞了其得意门生,也是这篇论文的一作,Linxi Fan(范麟熙)的最新研究成果。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

MineDojo:打开AI新世界


说来,这些AI究竟能做什么?

能在主世界、下界、末日中进行开放式探索,比如:

对战末影龙

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

寻找沙漠中的金字塔

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

还能探索海洋纪念碑

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

可以穿越不同地形,开采材料

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

能够制作并使用多样化工具,比如,用栅栏围住骆驼

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

种植小麦...

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

省事儿了!AI自学自励


目前为止,《我的世界》玩家已经有1亿多人,他们是构建大量数据的基础。

MineDojo从网上收集了海量数据:

  1. 73万YouTube视频,带有标记2.2亿个单词的英文脚本,这些视频总时长大概有30万个小时;
  2. 6735个Wiki页面,其中包括交互式的文本、图像、表格和图表;
  3. 34万条在「r/Minecraft」上的 Reddit帖子,还有660万条评论。


李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

视频素材分两类:

逐步演示、配音详解的教程视频,研究团队用教程视频做出了大量程序基准。

不按特定任务与步骤进行的普通游戏录播视频,给AI智能体提供了内容更多元、素材更丰富的各种学习与训练信号。

由于不管是教程视频还是游戏录播视频,大多数视频库素材都是按时间轴配脚本的。如此就让AI智能体可以低障碍地将自然语言与像素级的图像数据对应,不用大量人工标注就能自行理解各种活动的自然语义对应物。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

由于Reddit文本数据库中的内容结合了文字、图片、短视频片段,将精细调试的大语言模型在其中使用后,AI智能体就能获得大量特定的内化概念和复杂策略。

MineDojo现有基准任务库中包含3131个任务,其中有1572个可编程任务、1558个创造性任务、1个通关性任务。

可编程任务按固定步骤和任务目标完成,分四种:

1.生存:AI玩家在初始游戏环境中生存若干天

2.采集:发现、获取、培育、制造数百种材料和物体

3.科技树:按游戏进程目录解锁各种等级的工具与技能

4.基础战斗:AI玩家在游戏中打各种普通小怪,测试智能体反应灵活度和战斗技能

创造性任务就没有可编程任务的精细定义、自动完成的标准了,由AI智能体自由发挥。

通关任务的要求是让AI玩家「打败末影龙并获取龙蛋奖励」。这对人类新手玩家来说都是个游戏初期的里程碑成就。

对于AI智能体而言,这是个验收性任务,考验了AI智能体自行准备、探索、试错等等完成游戏的能力。

研究团队将所有任务都附带了自然语言叙述的提示,很多任务还有用GPT-3生成的逐步指南。

为了用强化学习训练AI智能体玩《我的世界》、完成必备的奖惩功能,研究团队自行开发了模型MineCLIP。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

MineCLIP是在海量Youtube数据库上预训练的对比视频语言模型,利用大型预训练的视频语言模型作为学习奖励函数。

比较有特点的是,这个智能体可以解决各种用自由形式的语言指定的开放任务。

同时,它不需要任何人工设计的密集设计奖励。

其奖励效果在可编程任务上与人工编写的逐条奖励程序不相上下,在创造性任务上胜过了OpenAI的预训练CLIP模型。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

MineCLIP模型也是MineDojo中AI将图像对应自然语言的核心组件,包含了文本编码器和图像编码器,参数1.5亿。

研究团队在论文中称MineCLIP模型的神经架构很类似CLIP4Clip,但比其多了两层图-文适应处理层。

研究团队在视频数据库中抽取了64万16秒短视频片段抽样,来训练这两层来对应图像和文字,效果可与人工判定的真实值媲美。

网友点评


一位网友称,OpenAI和英伟达基于《我的世界》做的研究方向有些不同。

并对这两项研究进行了对比。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

OpenAI试图训练一个《我的世界》中的通才智能体,就像此前DeepMind训练星际争霸那样:

先通过模仿大量演示来学习,然后再通过精心化设计的奖励让智能体去进行强化学习。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙


问题是,智能体想要进行模仿学习得知道个所以然,然而很多视频并没有标记动作,根本不知道玩家执行了哪些动作来生成这些视频。

于是OpenAI提出了视频与训练模型(VPT)解决方案,在训练7万个小时后,模型就学会了怎么砍树、收集木头。

值得注意的是,预训练的智能体仍然在执行任务时是有限的。

如果想要让其学习更复杂的动作,那就需要精心设计的奖励函数来引导智能体完成必要的步骤。

相比之下,英伟达提出了不同的观点。

他们通过利用YouTube上的视频里的知识学习各种想得到的任务,包括GPT-3生成的任务。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

为此,研究者并没有通过手动设计无数奖励,而是设计了一种算法MineCLIP,利用了大型与训练视频模型作为学习奖励函数。

作者介绍


这项最新研究团队共有十个人。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

其中论文一作是李飞飞门下得意弟子Linxi Fan(范麟熙)。

李飞飞高徒新作!30万小时视频教会AI在《我的世界》里打败末影龙

他毕业于上海实验中学,本科就读于纽约哥伦比亚大学,目前在斯坦福大学攻读博士,主修计算机视觉、强化学习以及机器人技术。


参考资料:

https://minedojo.org/