淫色 打乱/跳过Transformer层会怎样？最新询查揭开其信息流动机制

西风 发自 凹非寺量子位 | 公众号 QbitAI淫色

Transformer中的信息流动机制，被最新询查揭开了：

悉数层皆是必要的吗？中间层在作念相通的事吗？层的端正枢纽吗？

若是跳过一些层，比如第4层输出接到第6层会怎样。未必打乱层的端正，比如4-6-5-7又会怎样。

最近一项名为“Transformer Layers as Painters”的询查火了，由来自AI初创公司Sakana AI、Emergence AI的询查团队完成。

他们从Transformer里面使命旨趣动身，经过一系列履行对以上问题得出了论断。团队默示深化认识这些旨趣不仅能培植现存模子欺诈着力，还能匡助检阅架构开发新的变体。

谷歌DeepMind询查员、ViT作家Lucas Beyer看事后告成点了个赞：

很棒的追思！尽管一些履行在之前的询查中还是被展示过了，但我可爱你添加的新细节，终点是强调了“推理”类任务比其他任务受影响更大！

还有不少学者、工程师也默示浓烈推选。

敢打赌，其中一些意见最终将会用于检阅Transformer。

其中的履行再次阐发了：复制层对创造性任务有匡助，但对推理任务连接无效；改变层的端正行欠亨；剪枝在中间层成果最好，但仍需要进行拓荒更正。

是以，在这项询查中，询查团队皆进行了哪些履行？报恩了哪些问题？

履行模子采用和基准

先来看一下履行配置～

履行在decoder-only和encoder-only模子上进行。

其中decoder-only模子采用的是Llama2，主要询查32层、70亿参数的Llama2-7B，推广履行中也包含13B（40层）和70B（80层）模子。

encoder-only模子采用的是BERT，有24层、3.4亿参数。

询查东谈主员使用这些模子的标准预老师checkpoints。在悉数履行中，模子皆是冻结的，除BERT的评估中包含一个标准的微调武艺，其它情况未通过微调等法度修改模子参数。

基准测试方面，Llama2使用以下标准基准：ARC（科学考试问题）、HellaSwag（学问问题）、GSM8K（数学题），WinoGrande（学问推理）、LAMBADA（词汇展望）。其中LAMBADA用于测困惑度，与老师时刻使用的原始token展望最接近。

对于Llama2的性能评估，提供了基准测试的标准化中位数，将性能从0到1（模子最优性能）进行量化。

对于BERT，采选GLUE基准并罢免其评臆度划，包括基准的未标准化平中分。紧密，标准的BERT评估包括一个微调武艺，因此对模子进行了顺应性更正。在附录中询查东谈主员也展示了一个唯有模子头部不错更正的评估限定。

履作为机开头源于这样一个问题：

是否不错将多个层以某种面目合并成一个可能更大的单一层？假定可能由于老师经过中使用了残差联结，神经网罗的中间层可能使用了一个共同的表征空间。（对于标准的多层感知机来说不行立，它们之间莫得促使共同表征或层间陈列一致性的机制）

若是层能分享一个表征空间，将对后续条目臆度打算或向预老师Transformer模子动态添加新知识及下流应用产生枢纽影响。

对于Transformer的8大问题层是否使用交流的表征空间？

为细目不同层是否分享交流的表征空间，询查东谈主员锻真金不怕火了Transformer对于跳过特定层或更正相邻层端正的鲁棒性。

举例，在Llama2-7B模子中将输出流从“第4层->第5层->第6层”的平常端正，改为“第4层->第6层”，跳过第5层，会怎样？

又或者将第4层的输出送到第6层，然后将第6层的输出送到第5层，再送到第7层，会怎样？

如下图所示，履行发现除了最前边的和最末尾的几层，Llama2-7B跳过或改变层序进展出很好的鲁棒性。

也即是说，中间层分享一个表征空间，中间层与“外层”（最前边的和最末尾的几层）具有零丁的表征空间。

为了进一步阐发这一假定，询查东谈主员测量了不同模子（Llama2-7B、Llama2-13B和BERT-Large）中不同层的荫藏情景激活之间的平均余弦相似度，十方兄弟与学生开房并跨基准测试进行了比较。

下图3展示了悉数中间层之间的一致性。举例，底部第四层的激活与顶部第四层的激活高度相似。对于40层的Llama2-13B，不错看到这些层按相似性可鉴别红4-5个组：第0层，1-3层，中间层，然后是终末一两层。

这标明模子可能对“开动”、“中间”和“完毕”层具有三个不同的表征空间。询查东谈主员还发现，“开动层”的数目似乎跟着模子总层数的加多而加多。

此外，高余弦相似度可能说明有一个分享的表征空间，低相似度更能标明这些空间不是分享的。而上图3中Llama2-7B的数据与图2所示的性能限定高度一致，这进一步说明了：

至少中间层的表征空间是分享的。

悉数层皆是必要的吗？

为了进一步考据中间层的表征空间信得过分享，询查东谈主员还进行了层跳过履行（履行中未进行任何微调）。

具体来说，将第N层的输出告成传递为第N+M层的输入（M>1），从而“跳过”了M-1层，如下图所示。

正本第N+M层仅针对来自第N+M-1层的输入进行老师，那么现时它能否认识第N层的激活？

此类履行中，询查东谈主员平常实施第一层和终末N-1层，而跳过或修改第N+1到第T-N层（T是模子总层数）。

如下图4，在多个基准测试中，Llama2-7B和BERT-Large的性能均缓缓下跌（图从左至右展示了跳过层数缓缓递加的变化）。这一限定揭示了：

不是悉数层皆是必要的，至少不祥部分中间层不会对举座性能酿成严重影响。

中间层是否皆实施交流的功能？

若是中间层分享一个共同的表征空间，这些层是否填塞？

为了解答该问题，询查东谈主员从头进行了前边的“跳过”履行，toutoulu但此次不是跳过中间层，而是用最中心层的权重替换了这些悉数中间层的权重，如下图所示。

本色上即是在最中心层上轮回实施了T-2N+1次，其中T是模子总层数（Llama2-7B为32层，BERT-Large为24层）。

限定基准测试中，跟着被替换的层数加多，模子性能马上下跌。而况性能下跌速率比只是跳过某些层要严重得多，这种权重替换极具窒碍性。

因此，中间层各实施不同的功能并非填塞，中间层之间分享权重会产生晦气性后果。

层的端正枢纽吗？

上头履行标明中间层虽分享表征空间，却在该空间上实施不同操作。那么这些操作端正枢纽吗？询查东谈主员进行了两组履行。

开头，将中间层按照与其老师端正违抗的端正（逆序）实施。将第T-N层的输出传递给第T-N-1层，以此类推，直至第N层，然后将该层的输出传至终末的T-N层。

如下图：

第二个履行，未必陈列中间层端正，并平均10个未必种子限定。

限定如下图，两种情况模子皆呈现出空隙的性能下跌。

这里剧透一下底下的一项履行限定，不管是逆序如故未必端正，模子进展均优于告成跳过这些层，说明即使层在非老师端正的输入上运行，依然能进行灵验输出。

因此，层端正枢纽吗？论断是：

层端正更正对性能有一定影响，未必端正和逆序皆进展出一定的性能退化。

值得紧密的是，未必端正性能优于逆序。可能是因为逆序与老师时的端正透顶违抗，而任何未必端正皆至少保合手了一些端正上的连贯性（即某层i总在另一层j之后，其中i>j）。

不错并走运行这些层吗？

若是层的存在，即莫得被跳过，比它们实施的端正更枢纽，那么是否不错研究独未必运行这些层，然后将它们的限定合并？如下图所示。

询查东谈主员进行了一个履行，不是跳过第N到第T-N层，而是并走运行这些中间层，然后将它们的平均限定传递到终末的N层。

限定如下图所示，除了GSM8K数学题基准外，悉数基准测试皆进展出空隙的性能退化。

意思的是，并行层的进展优于跳过层，但不如逆序运行层。

总之，不错并走运行这些层吗？谜底是：不错，数学为主的基准测试以外。

对于某些任务，端正是否更枢纽？

大浩荡变体（包括逆序、跳过和并行）在综合推理ARC或数学推理GSM8K基准中，进展出最快速的性能下跌。

不错解释为迟缓推理任务比“语义”任务（如Winogrande或HellaSwag）对层端正的变化更为敏锐。

这是因为推理任务需要贯串结构和语义双重信息，而HellaSwag这类任务仅需语义即可完成。

通过履行，询查东谈主员得出论断：数学和推理任务比“语义”任务更依赖端正。

迭代对并行层有匡助吗？

若是把Transformer里面运行机制比作是画一幅画的经过：画布（输入）在一些画家之间传递，一些画家有益画鸟，一些则更擅长画轮子……每个画家皆顺序从另一位画家手里接过画布，然后决定对这幅画进行补充，如故将其告成传递给下一位画家（使用残差联结）。

不错思象，某些层在收到合适的输入时才会对画作进行“补充”。举例，若是“画轮子”的画家先看到汽车的车身，才更有可能画上轮子。

在Transformer中，某些层可能唯有在罗致到合适的输入时才会对前向传递默契作用，而不是通过残差联结将输入告成传递出去。

这样来看的话，那么比较于仅实施一次并行层，迭代实施并行层应该会培植性能。

询查东谈主员通过将并行层的平均输出回馈到合并层并固定迭代次数来进行测试，如下图：

下图9中，询查东谈主员展示了并行层迭代3次的限定，这种法度显赫优于仅实施一次并行层。

独一的例外是在Llama2-7B的肇始层N为15或BERT的肇始层N为11时。在这种情况下，轮回并行3次的成果终点于仅类似中间层3次，此时的并行层等同于齐全模子。

询查东谈主员还用不同的迭代次数类似进行了履行。

下图展示了Llama2-7B的性能随并行层数M和迭代次数的变化而变化。

每个M的最好迭代次数用红框默示。除了M=29和M=31（真实并行悉数层）外，最好迭代次数大致与并行层数成线性比例。

因此论断是：迭代对并行层有匡助，最好迭代次数与并行层数成比例。

哪些变体对性能损伤最小？

终末，询查东谈主员将履行中的悉数不同变体在合并图表上进行了比较。

限定暴露，类似单一层（如上头提到的用同等数目的最中心的层替换中间层）成果最差，性能马上退化至未必基准线。

迭代并行和未必层端正性能退化最小，其中迭代并行在BERT和Llama2-7B中进展最好。

论文附录中还补充了更多履行限定，感兴味的家东谈主们不错查看原论文。

论文流通：https://arxiv.org/abs/2407.09298v1参考流通：https://x.com/A_K_Nain/status/1812684597248831912