Altria (@Theanysome1888) 在 处理文档用哪个本地模型更好呢? 中发帖
RT
公司有业务需求,想要配一个Dify处理一下文档(大量的Excel文档),现在想要本地布一个大模型,配置为4090-24g显存。
还有想问一下显存和参数量的关系,是看模型大小是否小于显存吗?如果等于或大于会发生什么?听说有GGUF格式可以利用内存,这个又是什么原理?