ollama/ollama 是一个轻量级、可扩展的框架，用于在本地机器上构建和运行大型语言模型。现在，借助 ipex-llm 的 C++ 接口作为其加速后端，你可以在 Intel GPU (如配有集成显卡，以及 Arc，Flex 和 Max 等独立显卡的本地 PC) 上，轻松部署并运行 ollama。 
以下是在 Intel Arc GPU 上运行 LLaMA2-7B 的 DEMO 演示。 

  
    [图片]
  
  
    你也可以点击这里观看 DEMO 视频。
  


[!NOTE] 
ipex-llm[cpp]==2.2.0b20241204 版本与官方 ollama 版本 v0.3.6 一致。 
ipex-llm[cpp] 的最新版本与官方 ollama 版本 v0.4.6 一致。 


[!NOTE] 
从 ipex-llm[cpp]==2.2.0b20240912 ...