Haggi (@shaioo) 在 语义搜索图片的方案 中发帖

当前再针对照片库,去实现语义搜索功能。目前使用的是谷歌Embedding Gemma 2模型加上使用ONNX量化版 
[image]
如果使用非量化的话,那对于一张图片的向量数据生成,当前4秒多每张,那切换到非向量的话,时间就会更长,性能也会更差,因为这都是运行在本机电脑上的。如果按照调用API的方式,成本也会大很多。
因此想咨询一下,有没有什么更好的方案来参考一下?