Grogu (@yqyan) 在 Docker Model Runner 发布,可像 Docker 容器一样从 Docker Hub 选择任意大型语言模型,轻松部署运行 中发帖
Docker Desktop 4.40 的新功能 "Docker Model Runner Beta 版"发布,允许用户像 Docker 容器一样从 Docker Hub 获取大语言模型,并在本地环境中安装运行。
[Docker Model Runner 发布]
上个月(2025年3月)在 JavaOne 2025 主题演讲中,Docker Model Runner 发布
Docker Model Runner 支持 NVIDIA GPU 和 Apple Silicon 的 GPU 加速。安装的大语言模型可以通过 OpenAI 兼容 API 访问。
这使得过去需要繁琐的库安装和环境配置的大语言模型部署变得简单轻松,便于更换,用户可以立即开始开发利用生成式 AI 的应用程序。
使用 OCI Artifact 打包大语言模型
Docker Model Runner 中使用的大语言模...