技术视野MLC-LLM体验（以qwen1.5-1.8b-chat为例）
- 参考链接1 - 参考连接2 安装 1. 安装MLC，推荐Linux系统。参考链接，网络差的可以去网站手动下载whl文件。python版本官方推荐3.11，cuda版本推荐12.1。 2. 验证mlc。 3. 验证TVM，MLC库里面已经预编译了TVM，所以不需要再安装了，直接验证一下就行了，输出不为空就o
4 分钟阅读1,247 字阅读全文
TOPIC COLLECTION · 2 篇文章
端侧大模型
让大模型走出云端，在自己的设备上运行。
端侧大模型
每一次探索，都值得被记录MLC-LLM体验（以gemma-2b为例）
- 参考链接1 - 参考连接2 安装 1. 安装MLC，推荐Linux系统。参考链接，网络差的可以去网站手动下载whl文件。python版本官方推荐3.11，cuda版本推荐12.1。 2. 验证mlc。 3. 验证TVM，MLC库里面已经预编译了TVM，所以不需要再安装了，直接验证一下就行了，输出不为空就o
5 分钟阅读1,524 字阅读全文