F-DroidDocker Desktop推出了模型运行器 中发帖

可用性: 
测试版
需要:
Docker Desktop 4.40 及更高版本
适用于:
带有 Apple Silicon 的 Docker Desktop for Mac 或带有 NVIDIA GPU 的 Windows
Docker Model Runner 插件允许您:
从 Docker Hub 拉取模型
直接从命令行运行 AI 模型
管理本地模型(添加、列出、删除)
使用提交的提示或在 CLI 或 Docker Desktop 仪表板中的聊天模式与模型进行交互。
将模型推送到 Docker Hub。
模型首次使用时会从 Docker Hub 拉取并存储在本地。它们仅在运行时有请求时加载到内存中,并在不使用时卸载以优化资源。由于模型可能较大,初始拉取可能需要一些时间——但之后,它们会被缓存在本地以加快访问速度。您可以使用 OpenAI 兼容的 API 与模型进行...