https://www.http5.cn聚焦科技前沿，分享技术解析，洞见未来趋势。在这里，与您一起探索人工智能的无限可能，共赴技术盛宴。zh-CNhttps://www.http5.cn/posts/238https://www.http5.cn/posts/238基于 frp（Fast Reverse Proxy） 目标：1 台服务端 + 2 台客户端，实现内网穿透（SSH 示例） ​ 一、背景知识 FRP 是什么？ FRP 全称是： Fast Reverse Proxy 你可以把它简单理解成： 让你在外面，也能访问家里或者内网里的设备和服务。 比如： - 你想在公司Wed, 18 Mar 2026 02:57:27 GMT安装与配置https://www.http5.cn/posts/88https://www.http5.cn/posts/88正式版 - 下载地址（若应用体验符合您的期待，诚邀在应用商店留下五星好评 您的支持是我们持续优化的最大动力！✨）：https://appgallery.huawei.com/app/detail?id=com.tlntin.sonawave&channelId=SHARE&source=appshare 邀请Fri, 24 Oct 2025 23:05:00 GMT听澜盒https://www.http5.cn/posts/86https://www.http5.cn/posts/86关于 Navidrome - Navidrome 是一个自托管的开源音频服务器和流媒体播放器。它让你可以通过任何浏览器或移动设备自由地收听你的音频 - 简单来说，其类似私人云盘，需要你自己部署，自己上传你的音频。如果你有服务器的话，你就可以在任何地方任何时刻愉快的收听音频了。 准备工作 1. 有英语阅读能力的Fri, 24 Oct 2025 09:26:00 GMT听澜盒https://www.http5.cn/posts/85https://www.http5.cn/posts/85- 需要已经安装nodejs以及python环境 - 准备好任意一个大模型的api-key和baseurl - 和上节一样，我们先试试用tool来调用当前时间，使用mcp-server-time 来做演示。 - 使用pip安装一下它。 3. 初始化一个Nodejs项目，安装mcp ts sdk / openaThu, 05 Jun 2025 10:19:53 GMTMCPhttps://www.http5.cn/posts/82https://www.http5.cn/posts/82- 需要已经安装nodejs以及python环境 - 准备好任意一个大模型的api-key和baseurl 1. 和上节一样，我们先试试用tool来调用当前时间，使用mcp-server-time 来做演示。 2. 使用pip安装一下它。 3. 安装完成后，我们可以使用下面的代码来测试一下。 4. 输出结果，Tue, 03 Jun 2025 09:15:00 GMTMCPhttps://www.http5.cn/posts/81https://www.http5.cn/posts/81VsCode 体验MCP - vscode官方关于启用mcp的说明：https://code.visualstudio.com/docs/copilot/chat/mcp-servers - 需要有github copliot的账号权限，否则无法使用 - 需要已经安装nodejs以及python环境 - 下载Mon, 26 May 2025 02:44:00 GMTMCPhttps://www.http5.cn/posts/80https://www.http5.cn/posts/801. 用vscode打开一个项目路径，新建一个.vscode目录。 2. 终端-新建终端，然后输入下面的命令来初始化一个tsconfig.json配置文件。 3. 里面新增一个tasks.json来编排任务，完成ts-js,执行js的两个步骤。 4. 在 .vscode目录，里面新增一个launch.jsonFri, 16 May 2025 06:21:00 GMT安装与配置https://www.http5.cn/posts/78https://www.http5.cn/posts/78- 项目地址：链接 开发阶段 1. 拉取容器，对于国内用户，可以换南京大学镜像。 2. 创建一个模型路径，用于后面将模型放到此处 3. 创建一个开发容器 4. 进入容器 5. 下载官方转换好的ggml模型，得给文件换个源 - 关于支持的文件，可以从这里查看。huggingface链接 6. 下载好的文件在当前Sat, 29 Mar 2025 09:15:51 GMT安装与配置https://www.http5.cn/posts/77https://www.http5.cn/posts/77部署与简单使用 1. 找到valut的docker hub地址：https://hub.docker.com/r/hashicorp/vault 2. docker直接运行vault - "storage": {"file": {"path": "/vault/file"} 文件存储位置在容器内部的/vaulMon, 24 Mar 2025 07:33:00 GMT安装与配置https://www.http5.cn/posts/76https://www.http5.cn/posts/76背景 - 有些项目不支持相对路径加载，只能在线下载模型权重。 - 根据观察，可以将离线下载的模型，通过脚本，转成cache需要的格式。 1. 根据huggingface官方说明，10MB以上文件，自动走lfs。链接 2. 观察.cache/huggingface/hub下载的cache，发现了下面的规律 - Tue, 18 Feb 2025 10:56:16 GMT安装与配置https://www.http5.cn/posts/75https://www.http5.cn/posts/751. 先安装neofetch命令，观察自己的Plasma版本，目前主流应该是5，未来可能会出6，如果自己下载其它主题，注意主题兼容的Plasma版本。 2. 安装ocs-url。打开网站，点击右侧的Download，选择deb文件下载，然后安装一下这个deb文件。 3. 安装主题。打开网站，去下载一个ApplSat, 13 Jul 2024 04:00:24 GMT默认分类https://www.http5.cn/posts/74https://www.http5.cn/posts/741. 打开huggingface,搜索要下载的离线指标。可以点一下下面的按钮来展示所有指标。 2. 以rouge为例，找到rouge的图标块，点击一下进去。 3. 点一下右上角的files 4. 再点一下，获取克隆仓库命令。 5. 执行刚刚获取的克隆代码命令。 6. 安装它的依赖。网络不好的用户，第一行evaFri, 26 Apr 2024 10:24:00 GMT默认分类https://www.http5.cn/posts/73https://www.http5.cn/posts/73使用场景 - 服务器能上国内网不能连外网（指外面的国际网），例如国内的阿里云服务。 - 或者没有联网功能（但是可以通过文件上传），比如具有保密功能的局域网服务器。 方法1 - 前提：本机能连外网（如果本机也连不上外网，那就可以试试看第三方镜像站有没有对应数据集了） - 思路：本地在线加载数据集，然后导出数据集Thu, 25 Apr 2024 07:59:26 GMT默认分类https://www.http5.cn/posts/72https://www.http5.cn/posts/72背景 - 本文将介绍如何在Ubuntu24.04版本下实现gcc版本的快速切换。 - 由于cuda12.1不支持最新的gcc-13，所以我们需要手动安装gcc-11/g++-11，并且在使用cuda时候将默认gcc版本切换成gcc-11，但是在更新内核或者nvidia驱动时有需要还原到gcc-13，否则linSun, 21 Apr 2024 03:12:43 GMT默认分类https://www.http5.cn/posts/71https://www.http5.cn/posts/71- 参考链接1 - 参考连接2 安装 1. 安装MLC，推荐Linux系统。参考链接，网络差的可以去网站手动下载whl文件。python版本官方推荐3.11，cuda版本推荐12.1。 2. 验证mlc。 3. 验证TVM，MLC库里面已经预编译了TVM，所以不需要再安装了，直接验证一下就行了，输出不为空就oSun, 21 Apr 2024 03:12:09 GMT端侧大模型https://www.http5.cn/posts/70https://www.http5.cn/posts/70- 参考链接1 - 参考连接2 安装 1. 安装MLC，推荐Linux系统。参考链接，网络差的可以去网站手动下载whl文件。python版本官方推荐3.11，cuda版本推荐12.1。 2. 验证mlc。 3. 验证TVM，MLC库里面已经预编译了TVM，所以不需要再安装了，直接验证一下就行了，输出不为空就oSun, 21 Apr 2024 03:11:52 GMT端侧大模型https://www.http5.cn/posts/67https://www.http5.cn/posts/67在AutoDL上面编译tritonserver（不使用docker） 1. 参考trtionserver部署文档，以及官方容器我们准备编译官方最新容器24.02里面带的东西，相关环境如下： - Container OS: Ubuntu 22.04 - CUDA NVIDIA CUDA 12.3.2 - cuDTue, 26 Mar 2024 15:53:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/66https://www.http5.cn/posts/66编译llamafile 1. 准备工作：Ubuntu 22.04系统，make/gcc/g++/wget/unzip已安装，如果有独显，可以安装好独显驱动（例如英伟达显卡可以安装一下cuda） 2. 下载源码，目前最新版是0.6.2 3. 修改源码，默认配置是llama的，我准备用qwen1.5,所以将默认的Wed, 13 Mar 2024 14:36:02 GMT默认分类https://www.http5.cn/posts/64https://www.http5.cn/posts/64Triton24.02 部署TensorRT-LLM,实现http查询 选择正确的环境 1. 选择版本。查询nvidia官方文档，可以看到目前最新的容器是24.02。 - 在NVIDIA Driver这一行，它推荐的英伟达驱动版本是545以上，对于数据卡，可以适当降低。如果你是游戏卡，驱动版本没有545，也不Sat, 20 Jan 2024 04:52:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/63https://www.http5.cn/posts/63准备工作 1. 一张英伟达显卡，8GB以上显存，30系/40系新卡。 2. 安装了英伟达显卡驱动，版本大于等于530。 3. 安装了cuda，这里推荐12.1（主要跟着pytorch需要的cuda版本走，并且trt-llm需要cuda=12）官网链接，下载后双击安装即可，安装位置默认即可。 4. 安装cudnFri, 05 Jan 2024 01:33:17 GMTTensorRT-LLMhttps://www.http5.cn/posts/62https://www.http5.cn/posts/62代码分析 1. 上节我们已经成功启动了app.py，并上线到创空间，但是体验下来并不够好，没有达到我们想要的效果，这节我们主要讲一下如何对整个项目如何进行优化。 2. 分析一下app.py（原身是appBot.py)的代码，可以看到这里有一个uuidstr，应该是默认用户的标识符，这里设定是是localuseFri, 05 Jan 2024 01:33:05 GMTAgenthttps://www.http5.cn/posts/60https://www.http5.cn/posts/60准备工作 1. 一台能联网的电脑。 2. 安装好git，git-lfs 3. 有ModelScopehttps://www.modelscope.cn/的账号 4. 有阿里云账号，并开通了DashScope(灵积)的相关权限，灵积官网：https://dashscope.aliyun.com/ 本地开发 1.Tue, 19 Dec 2023 14:31:00 GMTAgenthttps://www.http5.cn/posts/55https://www.http5.cn/posts/55启动服务 - 参考教程：https://github.com/triton-inference-server/tensorrtllmbackend 1. 拉取官方镜像 2. 运行容器，和之前教程一样，做目录映射，为qwen部署做好准备 3. 进入容器，安装git-lfs 4. 安装TensorRT-LLM pWed, 01 Nov 2023 08:59:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/54https://www.http5.cn/posts/54背景 - 想要在B站简单分享一下TensorRT-LLM适配经验，顺便复习相关理论。 - 考虑到可能有大量用户没有显卡，但是他们又想来体验TensorRT-LLM，所以准备用源码来编译一波TensorRT-LLM，然后制作成公开镜像在AutoDL上面进行分享。 - 该镜像只支持RTX30系(Ampere)/4Sun, 29 Oct 2023 01:46:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/52https://www.http5.cn/posts/52编译triton/tensorrtllmbackend Docker镜像 背景： - 在Triton 23.10发布后，才会内置TensorRT-LLM支持 - 目前Triton最新版是23.09,暂时不支持，所以需要手动编译Docker镜像 1. 拉取本项目代码 2. 拉取子模块（目前只依赖TensorRTWed, 25 Oct 2023 15:20:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/51https://www.http5.cn/posts/511. 部署Qwen-7B-Chat-TensorRT-LLM , 参考该项目：https://github.com/Tlntin/Qwen-7B-Chat-TensorRT-LLM ，需要部署api。 2. 下载Langchain-Chatchat，当前最新版0.2.6 - 环境配置安装readme操作即可。Tue, 24 Oct 2023 07:25:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/50https://www.http5.cn/posts/50背景 - 之前比赛项目里面的TensorRT-LLM是7月份的，最新版是10月份的，需要做版本升级，所以记录一下相关操作。 - 初赛介绍：https://tianchi.aliyun.com/competition/entrance/532108/information - 复赛介绍：https://githSat, 21 Oct 2023 04:24:04 GMTTensorRT-LLMhttps://www.http5.cn/posts/47https://www.http5.cn/posts/47编译阶段 1. 克隆源码 2. 更新第三方子项目源码 3. 编译（第一次编译会拉一个镜像，耐心等待），注意：直接make是构建开发环境，开发环境不会将trt-llm编译进去，所以这里用了make releasebuild来构建正式版，编译大概需要一个小时，可以耐心等待。 4. 编译完成后可以看到一个叫tensFri, 20 Oct 2023 07:23:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/41https://www.http5.cn/posts/41准备工作 1. 安装好了docker，并且按之前的教程，部署了最新TensorRT-LLM容器。 2. 已经编译了Debug版本的TensorRT-LLM，可以参考这个教程，把里面的CMAKEBUILDTYPE=Release改成CMAKEBUILDTYPE=Debug就行。教程地址 3. 已安装VscodeSat, 16 Sep 2023 16:24:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/30https://www.http5.cn/posts/30常规编译cpp库（可选） - 注：可选操作，可以直接跳到快速编译cpp库步骤，那个相对来说更快一些 1. 安装kineto库（可选，可以消除一个警告） 2. 进入项目代码里面的tensorrtllmjuly-release-v1/cpp目录 3. 加载一个配置，让系统能找到cuda/TensorRT所在位置。Fri, 15 Sep 2023 04:27:00 GMTTensorRT-LLMhttps://www.http5.cn/posts/27https://www.http5.cn/posts/27很多小伙伴在用vscode的时候发现无法给huggingface下载的LLM断点调试，主要原因是，huggingface的transformers包，在加载模型的时候，会copy一份模型到系统cache路径，所以你在自己下载的模型路径那里打断点是没用的，因为这个地方代码就没执行，执行的是它的克隆兄弟。 当然，Fri, 01 Sep 2023 02:27:00 GMT默认分类https://www.http5.cn/posts/26https://www.http5.cn/posts/26第一步 VsCode 连接ssh 1. 下载安装VsCode(Visual Studio Code)，首次安装会提示你安装Chinese(Simplified)中文简体，安装完后重新打开就是汉化界面了。 2. 在左边侧边栏找到扩展选项，然后安装Remote Development插件，里面包含了Remote Sat, 19 Aug 2023 02:52:00 GMT安装与配置https://www.http5.cn/posts/25https://www.http5.cn/posts/25参考链接 1. https://segmentfault.com/a/1190000008663126 2. https://packaging.python.org/en/latest/tutorials/packaging-projects/ 教程 1. 去官网注册一个账号，记住你的用户名和密码。pypiMon, 03 Jul 2023 14:33:00 GMT默认分类https://www.http5.cn/posts/22https://www.http5.cn/posts/22环境安装。 - 参考官方说明：链接：https://next--tauri.netlify.app/next/guides/getting-started/prerequisites/windows 1. 关于C++组件 2. Rust版本，最新稳定版即可，我已经升到1.70了。并且需要包含安卓的所有跨跨平台Sun, 02 Jul 2023 10:01:00 GMT安装与配置https://www.http5.cn/posts/20https://www.http5.cn/posts/20- 参考链接 - 参考链接2 - nginx下载：链接，选择版本1.25.0 - 准备工作 - 下载nginx dav增强模块。 - 编译boringssl - 编译nginx参数 遇到的问题 提示 没有安装GD library: ./configure: error: the HTTP image filtSun, 04 Jun 2023 02:28:00 GMT安装与配置https://www.http5.cn/posts/19https://www.http5.cn/posts/19准备工作 1. 一个Linux系统。 2. 一个好点的显卡，目前仅支持算力8.0的显卡，推荐A100,30/40系暂不支持。 3. 已安装git/git-lfs，已安装docker。 4. 安装nvidia-container-runtime（强烈建议），安装步骤如下： - 添加NVIDIA包存储库密钥： -Mon, 15 May 2023 12:27:00 GMT安装与配置https://www.http5.cn/posts/15https://www.http5.cn/posts/151. 安装zsh 2. 设置默认终端 3. 安装oh-my-zsh - 正常安装 - 国内网安装 配置插件 1. 安装语法高亮插件 - 正常安装 - 国内网络安装 2. 安装自动补全插件 - 防止报错The unauthenticated git protocol on port 9418 is no lonSun, 07 May 2023 13:30:00 GMT安装与配置https://www.http5.cn/posts/16https://www.http5.cn/posts/161. 安装VSCode, Remote Development 插件(1, 2步仅限远程开发才需要，如果是linux本机开发就不用了)。 2. 远程环境安装扩展，C/C++，C/C++ Extension Pack（非常关键），Nsight Visual一个，Better C++ Syntax一个。中文简体汉Sun, 07 May 2023 13:30:00 GMT安装与配置https://www.http5.cn/posts/17https://www.http5.cn/posts/171. 官方插件: Nsight Visual Studio Code Edition（与cuda调试有关） 2. 配置文件格式识别，在设置中搜索files.associations, 设置“.cu”: ".cpp",将cu文件映射为cpp文件（利用cpp插件来编译，可不做）。 3. 解决导入cudaruntiSun, 07 May 2023 13:30:00 GMT安装与配置https://www.http5.cn/posts/14https://www.http5.cn/posts/14- 参考链接 - 参考链接2 - nginx下载：链接，选择版本1.2.2 - 准备工作 - 编译nginx参数 遇到的问题 提示 没有安装GD library: ./configure: error: the HTTP image filter module requires the GD library.Sun, 07 May 2023 13:28:00 GMT安装与配置https://www.http5.cn/posts/12https://www.http5.cn/posts/12数据库准备工作（宝塔版） 1. 安装然后进入PostgreSQL管理器。 2. 新建数据库： 正式部署 1. 拉取docker镜像 2. 运行镜像 - 注意邮箱最好注册过对应的头像 - 注册网站：https://cn.gravatar.com/ - 中国镜像代替网站：https://cravatar.cn/ Sun, 07 May 2023 13:23:00 GMT安装与配置https://www.http5.cn/posts/10https://www.http5.cn/posts/10为啥要自己编译 - 因为官方包不支持ubuntu22.04(系统自带gcc版本与glibc版本太高) - 参考链接：https://www.paddlepaddle.org.cn/documentation/docs/zh/install/compile/linux-compile.html - 原理，将利用Sun, 07 May 2023 13:20:00 GMT安装与配置https://www.http5.cn/posts/11https://www.http5.cn/posts/11安装Joplin 1. 下载Joplin, 链接 2. 安装后，如果不是中文简体，则去Tools（工具)，Option(选项)，Gener（通用选项），Language，选择中文简体。点击Apply(应用即可) 3. 可以从文件，导入Markdown,甚至Markdown目录。 注册太极云 1. 太极云是一个Sun, 07 May 2023 13:20:00 GMT安装与配置https://www.http5.cn/posts/9https://www.http5.cn/posts/9手动签证书 1. 确定要签名的域名 3. 拉取xx项目 4. 执行第一条命令，获取验证的txt - 输出结果 5. 将domain和txtvalue记录。然后去cloudflare，DNS解析那里，新建一个TXT类型的解析。 6. 正式执行签名，如果失败，需要重新执行第四步，第五步 - 若执行成功，则长这样。Sun, 07 May 2023 13:20:00 GMT安装与配置https://www.http5.cn/posts/8https://www.http5.cn/posts/8WOL开启教程 WOL是啥？ - 一种局域网开机协议，只要你的电脑都在局域网内，并且是插了网线，就可以根据mac地址来远程开机。 - 例如。电脑a与电脑b电脑c都是一个局域网，a为开机状态，b,c为关机状态，可以通过a输入指令来开机b,c电脑。前提，a,b,c电脑均为有线连接的方式上网，并且都插了电源。 准备Sun, 07 May 2023 13:19:00 GMT安装与配置https://www.http5.cn/posts/7https://www.http5.cn/posts/71. 从 PowerShellGallery 中安装。依次安装PowerShellGet, PSReadLine。(需要管理员权限打开PowerShell) 2. 查看已安装的模块 ，确保PSReadLine 大于等于2.2.0 3. 安装各个软件，并添加到path路径。例如： - lsd - vim - wSun, 07 May 2023 12:50:00 GMT安装与配置https://www.http5.cn/posts/6https://www.http5.cn/posts/6第一步：准备工作 安装依赖 1. 基本库安装 2. 安装libjasper 3. 基本依赖安装 4. 基本依赖安装 5. 安装openjpeg。 安装工作 - 下载源码(直接下载git是预览版，去releases下载是正式版)。opencv，opencvcontrib - 解压到你想要的任意文件夹，但是建议两Sun, 07 May 2023 12:48:00 GMT安装与配置https://www.http5.cn/posts/5https://www.http5.cn/posts/51. 关闭wayland注释，然后注销后看看右下角有没有出现wayland登陆，如果没有，继续进行2，3，4步骤，否则直接第5步。 2. 编辑文件 /lib/udev/rules.d/61-gdm.rules, 注释相关行 3. 实测zorin的设置如下所示： 4. 改成下面的设置 5. 注销，然后右下角勾选Sun, 07 May 2023 11:53:00 GMT安装与配置https://www.http5.cn/posts/4https://www.http5.cn/posts/41. 换国内源。 2. 安装FDM,ToDesk，Joplin等软件。 3. 安装cuda/cudnn/nccl, opencv等软件（可选）。 4. 安装fcitx5输入法及拼音，配置HackNerdFont字体。 5. 安装zsh。 6. 安装moden-unix对应配件。 7. 安装gnome-tweaSun, 07 May 2023 11:36:00 GMT安装与配置