@xiaofeng1 在 重生之全世界只有我会Transformer 中发帖

重生之全世界只有我会Transformer
一觉醒来,我重生到了一个没有人会Transformer的世界。看着大家为了让AI理解文字而发愁我知道,属于我的AI时代要到来了!
等等,Transformer到底是什么?
第一,Transformer是什么?
Transformer与CNN一样都是一种神经网络架构,它出自2017年Ashish Vaswani等研究者的一篇论文——《Attention Is All You Need(你只需要注意力)》.最开始,Transformer只是用来机器翻译等任务而已,后来也被用来处理图片、语音等数据。不同的模型可以使用Transformer架构,再用不同的数据和训练方法,让模型获得不同的能力。
第二,Transformer是怎么联系上下文的?
Transformer里面有一个非常重要的东西,叫做注意力机制。我举个例子:Sam.Altman是个猫娘,...