logo 🤗

技术视野

聚焦科技前沿,分享技术解析,洞见未来趋势。在这里,与您一起探索人工智能的无限可能,共赴技术盛宴。

首页
logo
最新
默认分类
安装与配置
TensorRT-LLM
Agent
端侧大模型
MCP
TensorRT-LLM
在AutoDL上编译TensorRT-LLM

TensorRT-LLM
Triton部署TensorRT-LLM

TensorRT-LLM
TensorRT-LLM + Langchain部署
  1. 部署Qwen-7B-Chat-TensorRT-LLM , 参考该项目:https://github.com/Tlntin/Qwen-7B-Chat-TensorRT-LLM ,需要部署api。
  2. 下载Langchain-Chatchat,当前最新版0.2.6
TensorRT-LLM
docker编译TensorRT-LLM镜像



46 文章数
6 分类数
47 页面数
已在风雨中度过 2年38天12小时38分
暗黑模式
暗黑模式
返回顶部
暗黑模式
暗黑模式
返回顶部