Grogu (@yqyan) 在 TEI 和 Ollama 发布适配 EmbeddingGemma 的更新版本 中发帖
看到 Google 发布 EmbeddingGemma 嵌入模型,本想水一个帖子,站内检索发现已经有佬友发过了,就改发这个了 😂。
有关 EmbeddingGemma 嵌入模型看这个
Text Embeddings Inference (TEI) v1.8.1
TEI 发布适配 EmbeddingGemma 的 v1.8.1 版本。
CPU:
docker run -p 8080:80 ghcr.io/huggingface/text-embeddings-inference:cpu-1.8.1 --model-id google/embeddinggemma-300m --dtype float32
CPU 与 ONNX Runtime:
docker run -p 8080:80 ghcr.io/huggingface/text-embeddings-infere...