🐟 (@stevessr) 在 谷歌现在正从退役服务器中取出DDR4内存模块,并将其重新用于新的AI服务器 中发帖
[!quote]+
谷歌供应链基础设施高级总监 Nikhil Cherian 最近在一次峰会论坛上透露,人工智能行业已迅速从计算受限转向内存受限,高性能内存已占给定人工智能服务器物料清单 (BOM) 成本的约 75%。
据 Cherian 称,为了“突破内存瓶颈,谷歌正在同时开发软件和硬件解决方案”,甚至拆解退役服务器以回收可回收的组件,从而建立内部回收供应链。
事实上,谷歌设计了特殊的硬件适配器,允许将上一代内存解决方案(例如 DDR4)连接到其新一代 AI 服务器。Cherian 还承认,谷歌特意重新进口退役的服务器,只是为了拆除它们的 DDR4 模块。
与此同时,这家科技巨头不断优化底层函数库、模型架构和键值缓存压缩,力求降低单位计算能力的内存使用量。
为了方便那些可能还不了解的人,谷歌今年推出了两款 TPU ASIC:TPU8t 专注于训练给定的 AI 模型,而 T...