永久以来，LeCun理念念中的AI，一直是通往东谈主类水平的AI，为此他建议了「天下模子」的构念念。

而最近，LeCun在公开演讲中，再次月旦了GPT大模子：凭据概率生成自转头的大模子，压根无法消释幻觉清苦。致使径直发出断言：GPT模子活不外5年。

6月14日，LeCun终于离我方的梦念念又近了一步！

Meta轰动发布了一个「类东谈主」的东谈主工智能模子 I-JEPA，它不错比现存模子更准确地分析和完成缺失的图像。

论文地址：https://arxiv.org/abs/2301.08243

划重心：I-JEPA填充缺失片断时，用的就是联系天下的布景知识！而不是像其他模子那样，只是通过检察隔壁的像素。

距离建议「天下模子」见识一年多，眼看着LeCun就要终了我方的星辰大海了。

6月14日，考验代码和模子依然开源。论文将于下周在CVPR 2023发表。

为了破裂这层枷锁，Meta的首席AI科学家Yann LeCun建议了一种新的架构。

他的愿景是，创造出一个机器，让它大要学习天下若何运作的里面模子，这么它就不错更快速地学习，为完成复杂任务作念出贪图，何况随时应酬不慎重的新情况。

Meta推出的图像长入镶嵌估量架构I-JEPA模子，是史上第一个基于LeCun天下模子愿景关节部分的AI模子。

I-JEPA就是通过创建外部天下的里面模子来学习。在补全图像的流程中，它比较的是图像的详尽表征，而不是比较像素自己。

在多个揣度机视觉任务上，I-JEPA齐推崇出了高大的性能，何况比其他鄙俚使用的CV模子揣度效果高得多。

皇冠体育hg86a

ImageNet线性评估：I-JEPA措施在预考验工夫不使用任何视觉数据增强来学习语义图像表征，使用的揣度量比其他措施更少

I-JEPA学习的暗示方式不错用于很多不同的应用，而无需进行多数的微调。

比如，扣问者在72小时内使用16个A100 GPU，就考验出了一个632M参数的视觉Transformer模子。

在ImageNet上的low-shot分类任务上，它达到了SOTA，每个类缩小到12个标记示例。

而其他措施频频需要2到10倍的GPU小时，何况使用调换数目的数据进行考验时，不实率也更高。

频频，东谈主类只有通过被迫不雅察，就能学习到联系天下的多数布景知识。

凭据推测，似乎这种知识信息恰是终了智能步履的关节，比如赢得新见识、基础和贪图的有用样本。

将见识学习建模为学习一个线性读数

Meta在I-JEPA（以及更精深的长入镶嵌估量架构JEPA模子）上的使命，恰是基于这么一个事实。

扣问者尝试的是，想象出一种学习算法，捕捉对于天下的知识布景知识，然后将其编码为算法不错拜谒的数字表征。

为了达到充足的效果，系统必须以自监督的方式学习这些表征——也就是说，径直从图像或声息等未标记的数据中学习，而不是从手动组合的标记数据纠合学习。

在更高的层级上，JEPA旨在凭据归并输入（图像或文本）的其他部分的表征，来估量输入的部分表征。

因为它不触及将图像的多个视图/增强的表征折叠到一个点上，是以JEPA有很大但愿大要幸免在鄙俚使用的措施（即基于不变性的预考验）中出现的偏见和问题。

长入镶嵌措施不错幸免表征崩溃

同期，通过在高度详尽的水平上估量表征，而不是径直估量像素值，JEPA有望大要径直学习有用的表征，同期幸免生成措施的局限性，恰是基于这个原因，最近才产生了如斯多令东谈主繁盛的谎言语模子。

比较之下，一般的生成式模子是通过移除或误会输入模子的部天职容来学习的。

举例，抹去相片的一部分，或者荫藏文本段落中的某些字，然后试着估量被松懈或丢失的像素或单词。

但这种措施的一个显赫缺欠是，尽管天下自己是不行估量的，模子却试图填补每一块缺失的信息。

因而，这种措施可能会犯东谈主永久不会犯的不实，因为它们会过于情切不联系的细节，而不是捕捉更高档的可估量的见识。

一个大众皆知的例子就是，生成式模子很难生成正确的东谈主手。

在自监督学习的通用架构中，系统会学习捕捉不同输入之间的关系。

它的主义是，将高能量分拨给不兼容的输入，将顽劣量分拨给兼容的输入。

自监督学习的常见架构

这三种架构的区分是——

(a) 长入镶嵌（不变）架构会学习为兼容的输入x、y输出相似的镶嵌，为不兼容的输入输出不相似的镶嵌。

(b) 生成式架构会学习径直从兼容的信号x重建信号y，使用以附加变量z（可能是潜变量）为条件的解码器积攒，以促进重建。

(c) 长入镶嵌估量架构学习从兼容信号x中估量信号y的镶嵌，使用以附加变量z（可能是潜变量）为条件的估量积攒，来促进估量。

I-JEPA背后的旨趣是通过一种更访佛于东谈主类贯通的详尽表征来估量缺失的信息。

为了勾通I-JEPA产生语义表征，其中一个中枢想象即是多块掩码政策。

具体而言，团队评释了估量包含语义信息的大块的关键性。这些大块具有充足大的领域，不错涵盖关键的语义特征。

这种政策的上风在于，它大要减少无用要的细节，并提供更高端倪的语义贯通。

通过情切大块的语义信息，模子不错更好地收拢图像或文本中的关键见识，从而终了更高大的估量才调。

基于图像的长入镶嵌估量架构（I-JEPA）使用单个高下文块来估量来自归并图像的表征

       驻点团队联合社区摸清未申报或安装出租屋底数，针对符合要求但仍未申报税费征收和视频门禁安装的出租屋主和负责人组织举办专题座谈会，具体讲解当前政策规定，解答疑问，消除顾虑，强化出租屋主体方的法律意识和责任意识。

      今年大学生暑期社会实践活动中，樟木头籍大学生通过思想政治引领活动，汲取了奋进力量；通过创新创业实践活动，拓宽了就业渠道；通过文体艺术活动，展现了青春风采；通过志愿服务活动，强化了社会责任。

其中，皇冠体育365高下文编码器是一个视觉Transformer（ViT），它只管束可见的高下文patch。

估量器是一个窄的ViT，它摄取高下文编码器的输出，并凭据主义的位置token，来估量主义块的表征。

主义表征对应于主义编码器的输出，其权重在每次迭代时，通过对高下文编码器权重的指数迁移平均进行更新。

在I-JEPA中，估量器不错被视为一个原始（且受限）的天下模子，它大要欺诈已知的高下文信息来推断未知区域的执行。

这种才调使得模子大要对静态图像进行推理，从而缔造一种对图像中的空间不细目性的贯通。

与仅情切像素级细节的措施不同，I-JEPA大要估量未见区域的高端倪语义信息，从而更好地捕捉图像的语义执行。

估量器学习建模天下语义的流程

对于每个图像，蓝色框除外的部分被编码并四肢高下文提供给估量器。而估量器则输出了代表蓝色框内预期执行的表征。

为了贯通模子捕捉的执行，团队考验了一个飞速解码器，将I-JEPA估量的表征映射回像素空间，从而展示了在蓝色框内进行估量时模子的输出。

明显，估量器大要识别出应该填充部分的语义信息（狗头顶部、鸟的腿、狼的腿、建筑物的另一侧）。

给定一幅图像，飞速采样4个主义块，飞速采样一个范围圭臬的高下文块，并删除任何重迭的主义块。这种政策下，主义块相对语义化，高下文块信息量大，但很疏淡，因而管束效果高

简而言之，I-JEPA大要学习对象部分的高档表征，而且也不会丢弃它们在图像中的局部位置信息。

在预考验上，I-JEPA的揣度愈加高效。

当先，它不需要应用愈加揣度密集的数据增强来生成多个视图，因此不会带来出奇的支拨。

其次，其中的主义编码器只需对图像的一个视图进行管束，而高下文编码器也只需对高下文块进行管束。

实考据明，I-JEPA大要在不使用东谈主工视图增强的情况下，学习到高大的现谚语义表征。

此外，在ImageNet-1K线性探伤和半监督评估中，I-JEPA的推崇也优于像素重建和token重建措施。

在预考验流程中，以GPU小时数为函数的基准，在ImageNet-1k上进行线性评估的性能

在语义任务上，I-JEPA与之前依赖于东谈主工数据进行增强的预考验措施比较，推崇愈加出色。

与这些措施比较，I-JEPA在初级视觉任务（如物体计数和深度估量）上终分解更好的性能。

通过使用更浅易、更纯真的归纳偏置模子，I-JEPA不错用在更鄙俚的任务上。

低样老实类准确率：对ImageNet-1k进行半监督评估，使用1%的标签（每个类别大致有12张带标签的图像）

I-JEPA展示了架构在学习现成图像表征方面的后劲，而且还不需通过东谈主工制作的知识四肢出奇的扶植。

鼓励JEPA以从更丰富的模态中学习更通用的天下模子，将会是相通相当颠倒旨的使命。

举例，从短的高下文中，对视频进行长程的空间和时刻估量，并将这些估量基于音频或文本指示进行条件化。

I-JEPA估量器表征的可视化：第一列包含原始图像，第二列包含高下文图像，绿色范围框包含来自估量器输出解码的生成模子的样本。估量器正确捕捉了位置的不细目性，以正确的姿态产生了高档对象的部分，丢弃精准的初级细节和布景信息

团队暗示，期待着将JEPA措施推广到其他领域，如图像-文本配对数据和视频数据。

将来，JEPA模子会在视频贯通等任务中可能具有令东谈主繁盛的应用。而这也将是应用和推广自监督措施来学习天下模子的关键一步。

预考验模子

在单GPU确立中，终了从main.py初始。

举例，要使用配置configs/in1k_vith14_ep300.yaml在腹地揣度机上的GPU 0、1和2上运行I-JEPA预考验，请输入以下敕令：

python main.py \\  --fname configs/in1k_vith14_ep300.yaml \\  --devices cuda:0 cuda:1 cuda:2

珍爱：ViT-H/14配置应在16个A100 80G显卡上运行，有用批大小为2048，才能复现限度。

多GPU考验

在多GPU确立中，终了从main_distributed.py初始，除了解析配置文献外，还允许指定联系散播式考验的详备信息。

对于散播式考验，需要使用流行的开源submitit器用，并提供SLURM集群的示例。

举例，要使用configs/in1k_vith14_ep300.yaml中指定的预考验实验配置在16个A100 80G显卡上进行预考验，请输入以下敕令：

pythonmain_distributed.py \\  --fname configs/in1k_vith14_ep300.yaml \\  --folder $path_to_save_submitit_logs \\  --partition $slurm_partition \\  --nodes 2 --tasks-per-node 8 \\  --time 1000

网友批驳

真实始创性的使命，吹爆了。自转头模子的继任者就在这里！

我敬佩，长入镶嵌架构是东谈主工智能的将来，而不是生成式的。但我就是很趣味，为什么咱们不进一步扣问多模态（如ImageBind，而不单是是文本-图像对），何况用像编码器这么的感知器来代替VIT编码器？

很纯粹的使命。在我的贯通中，它访佛于讳饰自动编码器，但在潜在空间中界说时会丢失功能，而不是输入/像素空间。不外，淌若要详备看懂，我还需要更多细节。

我的大脑只可看懂论文的10%，但淌若I-JEPA真的能创建图3中的主义图像，那就太神奇了，最关键的是：它和AI生成的MMORPG是关联的！

这个名目行将开源，网友也对Meta对于开源社区的孝顺暗示陈赞。

参考贵府：

https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa/

本文开头：新智元澳门巴黎人捕鱼，原文标题：《LeCun天下模子出场！Meta轰动发布首个「类东谈主」模子，贯通天下后补全半张图，自监督学习人心归向》