皮卡丘是神兽 (@codesnails)不依赖官方docker容器配置部署TensorRT-LLM0.15.0 中发帖

写在开头(特别鸣谢)
这里特别感谢Tlntin老大哥,非常热心的解决了我的困惑。
下面是参考他的资料:
这里他配置的是0.6.1版本的TensorRT-LLM:在AutoDL上编译TensorRT-LLM - 技术视野
这里是他配置最新版的0.16.0的TensorRT-LLM(我提问的版本😂):关于新版的TensorRT-LLM(0.16.0)编译过程中出现的问题 · Issue #125 · Tlntin/Qwen-TensorRT-LLM · GitHub

这是我接下来要配置的环境(适用于TensorRT-LLM0.15.0,因为我的环境要求的是Ubuntu22.04,如果要配置其他版本的TensorRT-LLM需要先确定OS版本以及相关环境(参考下面第一点),避免编译失败,其他过程大同小异)




组件
版本




Container OS
Ubuntu 22.04
...