@Humber 在 属于数据生产的 Scaling Law 会来吗? 中发帖
起因是听到有人说人类当前的数据规模可能只能撑起1000B量级的AI模型,想听听各位佬友的意见
先说几个个人观点供佬友们批判:
当前人类已有数据量(特别是高质量数据)对未来的AI训练来说可能是不足的(LLM scaling law 所预期的模型规模增长速度 > 新增高质量数据速度)
当前的AI有生产高质量数据的能力,但当前生产速度不足,或者说反馈回训练厂商的速度不足
从 Agent 的发展历史来看,每次更自动化(更不 human in the loop)都会很大程度地增高生产力
Agent + 记忆 + 一些“基本法则”,能造出极高程度自动化、较少被上下文窗口限制的智能体
现在流行的各种 claw 是一种体现;当然其记忆系统、法则约束还非常不完备,但未来技术发展肯定可以将这种“产品”形态调好
做好基本法定义(比如有限资源竞争、投票评分KPI考核等等),“总结与识别哪些数据是高质量的”...