@LucentSnow 在 Gemini Decision 1 实操,音乐分类:多模态扩展了决策模型使用的“想象力”边界 中发帖
前几日 Google 发布了自己的决策模型 Gemini Decision 1。虽说 jev 的模型热度看上去已经过去不少,但 Gemini 的这款还是非常值得期待,原因无他——极强的多模态能力。
jev 和 Cloudflare 都尝试推出过实验性质的全模态决策模型,但效果嘛……毕竟经验不足。Gemini 是特别的,我敢说直到现在,只有它有原生理解长视频和长音乐的能力,而不是靠抽帧和看波形图。所以从多模态入手,也许会有新的场景长出来。
AI Studio 反代 Gemini Decision 1 之后,我拿自己的 Navidrome 音乐库做了第一个实验。我下了很多不同专辑的歌,其中很多根本没听过(纯属强迫症式收集癖)。手动分类是件痛苦的事;如果按标签强制分类,又肯定会有遗漏。要是好歌就这样被漏掉,也太可惜了。
于是我试了决策模型。这是很典型的大批量分类任务。
我的目标是挑出“燃...