技术视野在AutoDL上面编译tritonserver（不使用docker）
在AutoDL上面编译tritonserver（不使用docker） 1. 参考trtionserver部署文档，以及官方容器我们准备编译官方最新容器24.02里面带的东西，相关环境如下： - Container OS: Ubuntu 22.04 - CUDA NVIDIA CUDA 12.3.2 - cuD
9 分钟阅读2,873 字阅读全文
TOPIC COLLECTION · 11 篇文章
TensorRT-LLM
从编译到部署，探索大模型推理的速度边界。
TensorRT-LLM
每一次探索，都值得被记录Triton24.02 部署TensorRT-LLM,实现http查询
Triton24.02 部署TensorRT-LLM,实现http查询 选择正确的环境 1. 选择版本。查询nvidia官方文档，可以看到目前最新的容器是24.02。 - 在NVIDIA Driver这一行，它推荐的英伟达驱动版本是545以上，对于数据卡，可以适当降低。如果你是游戏卡，驱动版本没有545，也不
8 分钟阅读2,516 字阅读全文
Windows安装TensorRT-LLM, 单batch达到8倍加速
准备工作 1. 一张英伟达显卡，8GB以上显存，30系/40系新卡。 2. 安装了英伟达显卡驱动，版本大于等于530。 3. 安装了cuda，这里推荐12.1（主要跟着pytorch需要的cuda版本走，并且trt-llm需要cuda=12）官网链接，下载后双击安装即可，安装位置默认即可。 4. 安装cudn
3 分钟阅读1,027 字阅读全文
Triton23.10部署TensorRT-LLM,实现http查询
启动服务 - 参考教程：https://github.com/triton-inference-server/tensorrtllmbackend 1. 拉取官方镜像 2. 运行容器，和之前教程一样，做目录映射，为qwen部署做好准备 3. 进入容器，安装git-lfs 4. 安装TensorRT-LLM p
2 分钟阅读493 字阅读全文
在AutoDL上编译TensorRT-LLM
背景 - 想要在B站简单分享一下TensorRT-LLM适配经验，顺便复习相关理论。 - 考虑到可能有大量用户没有显卡，但是他们又想来体验TensorRT-LLM，所以准备用源码来编译一波TensorRT-LLM，然后制作成公开镜像在AutoDL上面进行分享。 - 该镜像只支持RTX30系(Ampere)/4
7 分钟阅读2,195 字阅读全文
Triton部署TensorRT-LLM
编译triton/tensorrtllmbackend Docker镜像 背景： - 在Triton 23.10发布后，才会内置TensorRT-LLM支持 - 目前Triton最新版是23.09,暂时不支持，所以需要手动编译Docker镜像 1. 拉取本项目代码 2. 拉取子模块（目前只依赖TensorRT
5 分钟阅读1,547 字阅读全文
TensorRT-LLM + Langchain部署
1. 部署Qwen-7B-Chat-TensorRT-LLM , 参考该项目：https://github.com/Tlntin/Qwen-7B-Chat-TensorRT-LLM ，需要部署api。 2. 下载Langchain-Chatchat，当前最新版0.2.6 - 环境配置安装readme操作即可。
2 分钟阅读363 字阅读全文
TensorRT-LLM 已有项目升级到最新版
背景 - 之前比赛项目里面的TensorRT-LLM是7月份的，最新版是10月份的，需要做版本升级，所以记录一下相关操作。 - 初赛介绍：https://tianchi.aliyun.com/competition/entrance/532108/information - 复赛介绍：https://gith
3 分钟阅读704 字阅读全文