Bunn (@BunnHack) 在 马斯克揭秘 XAI 进展:Colossus 2 正同时训练 7 款模型,包含 10 万亿参数模型 中发帖
今日,埃隆·马斯克(Elon Musk)在社交平台 X 上披露了其 AI 事业的最新进展。据马斯克透露,旗下的 SpaceXAI Colossus 2 超级计算机目前正在同时进行 7 款 AI 模型 的训练工作。
根据马斯克公布的清单,这次训练任务涵盖了多个量级。目前在练的模型包括:
Imagine V2:图像生成模型
1T 变体(2款):1 万亿参数级别的模型。
1.5T 变体(2款):1.5 万亿参数级别的模型。
6T 模型:6 万亿参数级别。
10T 模型:高达 10 万亿参数 的大模型。
並表示“还有一些赶超工作要做
针对网友 Danny Limanseta 关于“10T 模型训练时长”的提问,马斯克他透露,10T 参数模型的预训练阶段大约需 2 个月。
https://fxtwitter.com/elonmusk/status/2041754402239975479?...