Hello (@RenQirui) 在 我感觉我好像是本地小模型 中发帖
我感觉我好像是本地小模型
特点如下:
参数量极小:可能是2B
训练集极小:甚至大部分都是污染数据
关注
-预训练轮数少:通常不收敛
-上下文极小:不超过500字
- 注意力:是稀疏的
- 联网搜索:是不会的
- 思维链:是没有的
- 输出:不是幻觉就是过拟合