黯绛 (@amlkiller)推荐的各种端侧LLM模型和用途 中发帖

首先限定一下条件在具有一定算力的端侧设备,搭载了ai优化的硬件。。 
说明一下本地ai的特点,
TTFT极低,无限制用量,稳定,隐私,具有相当于次时代旗舰模型的智力。
还有一个我认为更加重要的是丰富的社区模型。
你想要什么模型都有,应有尽有。
其实除vibe用途外基本都可以用本地模型来处理。稍微列举下我的用途。
1.数据清洗
需要反复迭代、高频调用、处理海量本地文本的自动化脚本跑起来非常合适。什么文档分析,归类,OCR,提取等等,基本都能用一个10B左右的模型来解决。准确率也相当高,由于上面提及的优点,推荐以不同temp生成两次防止模型抽风。
推荐gemma-12B(更新的知识,能力) qwen-9B(更高的智商)
2.翻译
各种本地翻译项目很多了,现在llm的能力之下完全不推荐使用传统的机器翻译,这部分需求算力是溢出的,可以牺牲一部分速度换质量(其实也没差多少基本TTF...