AI工程一键部署脚本,应用自打包发布技术收集

*本地模型部署工具部署模型，用Agent框架调用部署工具接口实现调用模型*

*LangChain Agent框架支持Python与.NET*

conda虚拟环境安装CUDA和CUDNN

客户端将MCP工具列表和用户问题-》大语言模型-》需要调用MCP的信息返回给调用模型的客户端，客户端调用指定MCP->客户端获得MCP结果-》大语言模型-》返回给最终客户

LangChain.NET如何调用Ollama制作知识库和调用MCP服务

AI环境一键初始化，GitHub工程一键部署脚本

再说AI环境搭建

***打包AI项目,打包CUDA,打包CUDNN,打包TensorRT,打包FFMPEG,AI项目整合包制作***

CUDA与cuDNN如何实现复制使用

在Windows下，Python程序可以通过设置环境变量来临时指定使用特定的CUDA和cuDNN版本。

一键Python程序打包成EXE🟢通用脚本，适配Github各种AI项目

本地部署AI项目如何指定他只使用指定版本CUDA,也就是让CUDA和AI项目位于一个目录

本地部署AI项目如何指定他只使用指定版本CUDA,也就是让CUDA和AI项目位于一个目录

以下以 Windows 10/11 为例，详细实现「AI 项目与指定版本 CUDA 隔离部署」（CUDA 与项目同目录），核心逻辑是通过批处理脚本强制指定本地 CUDA 路径，完全隔离系统全局 CUDA 环境。

一、核心原理（Windows 适配）

Windows 下 CUDA 依赖通过以下环境变量定位，需在项目启动时覆盖为本地路径：

CUDA_HOME/CUDADIR：CUDA 根目录标识

PATH：优先加载本地 CUDA 的bin目录（覆盖系统C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA）

LIB：CUDA 静态库 / 链接库路径（编译时用）

INCLUDE：CUDA 头文件路径（编译时用）

DYLD_LIBRARY_PATH（无，Windows 通过PATH加载动态链接库）

二、分步实现（以 CUDA 11.8 为例）

步骤 1：下载指定版本 CUDA Toolkit（免安装 / 解压版）

Windows 下优先选择「本地解压模式」（避免安装到系统目录），有两种方式：

方式 1：从 Runfile 提取（推荐，纯净无系统污染）

下载 CUDA Toolkit Runfile（exe 格式，从 NVIDIA 官网复制对应链接）：官网地址：https://developer.nvidia.com/cuda-toolkit-archive示例：下载cuda_11.8.0_522.06_windows.exe（CUDA 11.8）

解压 Runfile 到项目目录（不执行安装）：

cmd

:: 假设项目目录为 D:\AI_Project

md D:\AI_Project\cuda-11.8

:: 用7-Zip解压（需提前安装7-Zip，或右键解压）

7z x cuda_11.8.0_522.06_windows.exe -oD:\AI_Project\cuda-11.8

解压后会生成cuda_toolkit等子目录，将子目录内的bin/lib/include等文件夹移动到D:\AI_Project\cuda-11.8根目录（清理冗余层级）。

方式 2：直接下载 CUDA 压缩包（更快捷）

部分第三方镜像站提供 CUDA 预编译压缩包（如cuda-11.8.0-windows-x86_64.zip），解压到D:\AI_Project\cuda-11.8即可。

步骤 2：下载匹配版本的 cuDNN（AI 项目必装）

cuDNN 需与 CUDA 版本严格匹配，下载后整合到本地 CUDA 目录：

从 NVIDIA 官网下载 cuDNN（需登录）：https://developer.nvidia.com/cudnn示例：下载cudnn-windows-x86_64-8.9.7.29_cuda11-archive.zip（适配 CUDA 11.8）

解压 cuDNN，将文件复制到本地 CUDA 目录：

cmd

:: 解压cuDNN后，进入解压目录执行

xcopy include\* D:\AI_Project\cuda-11.8\include\ /s /e /y

xcopy lib\x64\* D:\AI_Project\cuda-11.8\lib\x64\ /s /e /y

步骤 3：创建项目专属启动脚本（关键，批处理文件）

在项目根目录创建run_ai_project.bat，通过脚本强制指定本地 CUDA 路径，避免系统全局 CUDA 干扰：

bat

@echo off

chcp 65001 >nul 2>&1  :: 解决中文乱码

setlocal enabledelayedexpansion

:: ===================== 核心配置 =====================

:: 项目根目录（根据实际路径修改）

set PROJECT_DIR=D:\AI_Project

:: 本地CUDA目录（与解压路径一致）

set CUDA_DIR=%PROJECT_DIR%\cuda-11.8

:: 项目虚拟环境路径（可选，建议用venv隔离Python依赖）

set VENV_DIR=%PROJECT_DIR%\venv

:: ===================== 清理系统CUDA环境 =====================

:: 清空原有CUDA相关环境变量，避免系统干扰

set CUDA_HOME=

set CUDADIR=

set PATH=!PATH:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA=!  :: 移除系统CUDA路径

set LIB=!LIB:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA=!

set INCLUDE=!INCLUDE:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA=!

:: ===================== 设置本地CUDA环境 =====================

:: 核心CUDA标识

set CUDA_HOME=%CUDA_DIR%

set CUDADIR=%CUDA_DIR%

:: 优先加载本地CUDA的bin（nvcc、cuda运行时等）

set PATH=%CUDA_DIR%\bin;%CUDA_DIR%\lib\x64;%PATH%

:: CUDA头文件路径（编译时用）

set INCLUDE=%CUDA_DIR%\include;%INCLUDE%

:: CUDA链接库路径（编译/运行时用）

set LIB=%CUDA_DIR%\lib\x64;%LIB%

:: ===================== AI框架专属配置（可选） =====================

:: PyTorch强制使用指定CUDA

set TORCH_CUDA_VERSION=11.8

:: TensorFlow强制使用本地CUDA

set TF_CUDA_PATH=%CUDA_DIR%

:: ===================== 启动项目 =====================

:: 激活Python虚拟环境（如果使用）

if exist "%VENV_DIR%\Scripts\activate.bat" (

    call "%VENV_DIR%\Scripts\activate.bat"

    echo 已激活虚拟环境：%VENV_DIR%

)

:: 运行AI项目（替换为你的实际启动命令）

echo 开始运行AI项目，使用本地CUDA路径：%CUDA_DIR%

python "%PROJECT_DIR%\main.py"

:: 暂停（可选，方便查看运行日志）

pause

endlocal

步骤 4：验证 CUDA 环境是否生效

双击运行run_ai_project.bat，或在脚本中添加验证命令，确认本地 CUDA 已被正确加载：

bat

:: 在启动脚本中添加以下验证代码（放在set PATH之后）

echo ===== 验证CUDA环境 =====

:: 检查nvcc版本（应显示CUDA 11.8）

nvcc -V

:: 检查nvcc路径（应指向项目目录）

where nvcc

:: Python验证（PyTorch）

python -c "import torch; print('PyTorch CUDA版本：', torch.version.cuda); print('CUDA是否可用：', torch.cuda.is_available())"

echo =======================

三、最终目录结构（示例）

plaintext

D:\AI_Project\

├── cuda-11.8\          # 本地CUDA 11.8目录

│   ├── bin\            # nvcc.exe、cuda运行时库（cudart64_118.dll等）

│   ├── include\        # CUDA/cuDNN头文件（cudnn.h、cuda_runtime.h等）

│   └── lib\x64\        # CUDA/cuDNN链接库（cudnn64_8.lib、cudart_static.lib等）

├── venv\               # Python虚拟环境（可选）

├── main.py             # AI项目主程序（如PyTorch/TensorFlow代码）

└── run_ai_project.bat  # 项目启动脚本（核心，配置本地CUDA）

四、关键注意事项（Windows 特有）

1. 显卡驱动兼容性

无需将驱动安装到项目目录（驱动是系统级的），但需确保驱动版本支持目标 CUDA：

查看驱动版本：右键桌面→NVIDIA 控制面板→系统信息→驱动程序版本

匹配表：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#cuda-major-component-versions

示例：CUDA 11.8 需驱动版本≥520.61.05

2. 动态链接库（DLL）问题

Windows 通过PATH加载 DLL，需确保%CUDA_DIR%\bin和%CUDA_DIR%\lib\x64在PATH最前面，避免系统 DLL 覆盖。

若运行项目时提示 “找不到 cudart64_118.dll”，检查：

① cuda-11.8\bin下是否有该文件；

② 脚本中是否正确设置PATH=%CUDA_DIR%\bin;%PATH%。

3. Python/AI 框架适配

PyTorch/TensorFlow 需与本地 CUDA 版本匹配：

PyTorch：安装对应 CUDA 版本的包（如torch==2.0.1+cu118）

cmd

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

TensorFlow：安装tensorflow==2.12.0（适配 CUDA 11.8）

4. 权限问题

确保项目目录（D:\AI_Project）有读写权限（避免解压 / 运行时提示 “权限不足”）。

若使用管理员权限运行项目，需在脚本开头添加：@echo off & cd /d "%~dp0" & runas /user:Administrator "%~f0"（不推荐，优先调整目录权限）。

五、多 CUDA 版本隔离（扩展）

若多个 AI 项目需使用不同 CUDA 版本（如一个用 11.8，一个用 12.1），只需为每个项目单独配置cuda-x.x目录和启动脚本，互不干扰：

plaintext

D:\

├── AI_Project_118\  # 用CUDA 11.8

│   ├── cuda-11.8\

│   └── run_ai_project.bat

└── AI_Project_121\  # 用CUDA 12.1

    ├── cuda-12.1\

    └── run_ai_project.bat

六、常见问题解决

nvcc 不是内部或外部命令：

检查run_ai_project.bat中CUDA_DIR是否正确；

确认cuda-11.8\bin下有nvcc.exe；

脚本中PATH是否优先设置了%CUDA_DIR%\bin。

PyTorch 检测不到 CUDA（显示 False）：

确认安装的 PyTorch 版本与 CUDA 匹配（如 cu118 版本）；

运行python -m torch.utils.collect_env查看 CUDA 路径是否指向项目目录；

重启脚本（避免环境变量缓存）。

解压 CUDA Runfile 后缺少文件：

改用 7-Zip 解压（Windows 自带解压可能损坏文件）；

从 NVIDIA 官网重新下载 Runfile，确保文件完整。

通过以上方案，Windows 下的 AI 项目会完全使用项目目录内的指定版本 CUDA，不依赖系统全局安装，且支持多版本隔离，适合本地开发 / 部署场景。