bardlmstudio 0.3.4 集成llama.cpp和MLX 利好MacOS 中发帖

链接: https://lmstudio.ai/blog/lmstudio-v0.3.4 

LM Studio 0.3.4 ships with an MLX engine for running on-device LLMs super efficiently on Apple Silicon Macs.

[image]
安装后能看到有两个运行时, 选择不同的模型文件可以在各自运行时下跑大模型了.
在客户端能看到的MLX模型如下:
[image]
在huggingface搜索带有MLX关键字的模型进行导入
之前用MLX命令跑过模型,单体验下来不是很舒服,比如下载模型,管理,对话等都需要命令行控制 现在可以通过lmstudio使用MLX支持的模型 让macOS发挥更大优势