550W (@failed-to-load)Transformer,又或AGI的前方又在何处? 中发帖

Transformer从何而起? 
谷歌在2017年6月12日在arXiv上发表了《Attention is all you need》的预印本,自此,transformers问世
而当时还是小公司,成立了数年却苦于找不到研发方向的OpenAI一看到这篇文章,就想到了利用Transformers构建模型
之后,在2018年,OAI和谷歌相继发布了GPT-1和BERT,接下来便是一代代的模型迭代,一代代的参数量增加,模型能力也一代代的变强,GPT-2拥有1750亿参数,便出现了涌现能力,但在这之前,马斯克离开了OpenAI,没能见到GPT2的发布,所以OAI只能找新的金主。也就是微软,自此,御三家的两家已经成型(谷歌+DeepMind、微软+OAI)
自此微软开始注资OAI,但是由于理念不合,阿莫带兄妹离开了OAI,创办了今天的A/
2022年,GPT3.5首次应用了RFHL(人类反...