第11章：CUDA 入门：GPU 加速环境

特征检测为什么慢？因为 CPU 在用一个"脑子"数 200 万个像素。这一章搭起 GPU 加速环境：驱动与 Toolkit 的关系、runfile 交互安装、环境配置与三连验证，再把 CUDA 十年的版本演进看个明白

11.1 特征检测为什么慢：像素级并行与 GPU

上一章我们跑通了 Harris 角点检测与 Canny 边缘检测。它们效果不错，但你有没有想过一个问题：为什么处理一张图要等那么久？拆开看，特征检测的工作量惊人——一张 1920×1080 的图有约 207 万个像素，Harris 要对每个像素算梯度、构造结构张量、求角点响应；Canny 要先做高斯模糊、再算 Sobel 梯度、做非极大值抑制、最后双阈值连接。每一步都是"对每个像素做同一套运算"，而且每个像素的运算互不依赖——第 (x, y) 个像素的响应不需要等第 (x+1, y) 个像素算完。

问题恰恰出在这里：CPU 是"一个极其聪明的工人"——单核主频三四 GHz，能处理复杂分支，但一个核心同一时刻只能执行一条指令流。207 万像素 × 多阶段运算，就是几千万次串行迭代。GPU 则是"一万个普通工人"——单个核心远不如 CPU 快，但可以同时铺开成千上万个线程，207 万像素一人分一个，一轮齐活。这就是吞吐量（throughput）vs 延迟（latency）的哲学：CPU 优化单任务的延迟，GPU 牺牲单线程速度换取整批任务的吞吐。图像处理正是典型的"数据并行"负载：同样的指令、海量的数据、互相独立——教科书级的 GPU 使用场景。官方对 CUDA 的定义也印证了这点：它是 NVIDIA 的并行计算平台，通过给 C 语言加一小套扩展，让开发者把算法的并行部分交给 GPU，串行部分留在 CPU（heterogeneous computation，异构计算）。

// serial_harris.c —— 伪代码：CPU 上串行扫过每个像素
#include <stdio.h>
#define W 1920
#define H 1080

float response[H][W];   // 每个像素一个角点响应值

int main() {
    // CPU 单核：逐像素循环，约 200 万次迭代，串行执行
    for (int y = 0; y < H; ++y) {
        for (int x = 0; x < W; ++x) {
            // 算梯度 Ix、Iy，构造结构张量，求角点响应
            response[y][x] = harris_response(x, y);
        }
    }
    return 0;
}

// gpu_idea.cu —— 伪代码：同一个算法，每个像素分给一个 GPU 线程
#include <stdio.h>
#define W 1920
#define H 1080

// __global__ 标记：这个函数由 GPU 执行，每个线程各跑一份
__global__ void harris_kernel(float* response) {
    // 线程用内置变量算出自己负责的像素坐标（第 12 章细讲）
    int x = threadIdx.x + blockIdx.x * blockDim.x;
    int y = threadIdx.y + blockIdx.y * blockDim.y;
    if (x < W && y < H) {
        response[y * W + x] = harris_response(x, y);
    }
}

两个代码块做的是同一件事，差别在分配方式：CPU 版本是一个工人干 200 万件活，GPU 版本是 200 万个工人各干一件。这个"把循环体变成每个像素一个线程"的转变，就是 CUDA 编程的核心心法，第 12 章会系统讲。但在此之前，得先把"GPU 加速环境"本身立起来——正如鲁班说的，工欲善其事，必先利其器。驱动装没装、Toolkit 装没装、装完怎么验证，直接决定你后面写的内核能不能跑起来。

11.2 驱动与 CUDA Toolkit：一台机器的两半

很多人第一次装 CUDA 就栽在概念混淆上：显卡驱动（NVIDIA Driver）和 CUDA Toolkit 是两个独立的东西，各管一段。驱动负责"让系统认识 GPU 并驱动它干活"：操作系统通过它调度显卡，nvidia-smi 这个监控命令就由驱动提供，底层对应 CUDA 驱动 API（libcuda.so）。没有驱动，GPU 只是一块点亮屏幕的显示卡，算不了数。CUDA Toolkit 则负责"让你能开发"：它包含 nvcc 编译器、CUDA 运行时库（libcudart）、数学库（cuBLAS/cuFFT 等）和调试工具。一句话：驱动管"跑"，Toolkit 管"编"——驱动让你能运行 CUDA 程序，Toolkit 让你能把 CUDA 程序编译出来。

两者还有一层版本约束关系。驱动是向下兼容的：新版驱动支持旧版 Toolkit（NVIDIA 官方的兼容性表里，驱动的最低版本要求随 Toolkit 版本升高而升高），nvidia-smi 右上角显示的 "CUDA Version" 不是说你装了 CUDA，而是说当前驱动最高支持到哪个 CUDA 版本。所以推荐的做法是：先装驱动，再用 nvidia-smi 确认驱动正常，然后按驱动支持的版本上限选择 Toolkit 版本。装好驱动后第一件事就是跑 nvidia-smi，看到显卡型号、驱动版本和 CUDA Version 三行信息，驱动才算过关。

# nvidia-smi 输出示例（Quadro P2000，素材里的老伙计）
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 550.54.15    Driver Version: 550.54.15    CUDA Version: 12.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Quadro P2000        Off  | 00000000:01:00.0 Off |                  N/A |
| 31%   38C    P0    20W /  75W |    356MiB /  5120MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+

# 查显卡型号：lspci 由 pciutils 软件包提供
lspci | grep -i nvidia
# 输出示例：01:00.0 VGA compatible controller: NVIDIA Corporation GP106GL [Quadro P2000]

# 查驱动是否已加载、版本是否正常（驱动装好的标志性命令）
nvidia-smi

弄清了"两半"的分工，就能理解下面这个重要的历史变化：2020 年的 CUDA 10.0 时代，驱动和 Toolkit 是"打包"的——素材笔记里下载的 cuda_10.0.130_410.48_linux.run 一个安装包同时包含 410.48 驱动和 Toolkit，运行后安装器会问你"是否安装驱动"（素材里答 y，因为之前没单独装驱动）。而现行 CUDA 12.x 的官方指南把驱动安装独立成册（Driver Installation Guide），runfile 安装器默认只管 Toolkit。这个差异是本章后面交互流程的根源，也是理解版本演进的钥匙。

11.3 动手前：前置检查与下载

官方安装指南（CUDA Installation Guide for Linux）在正式安装前列了一串前置动作（Pre-installation Actions），核心是四查一选：查显卡（是不是 CUDA 兼容的 NVIDIA GPU）、查系统（发行版与内核是否在支持列表）、查编译器（宿主 gcc 必须就位，Toolkit 编译时要调用它）、选安装方式。安装方式官方推荐包管理器（apt/dnf 装 RPM、deb 包，能跟着系统自动升级），而runfile（.run 独立安装器）的优势是"发行版无关"——素材里的 CentOS 7 系统太老、仓库里没有新包，用 runfile 反而最省事，这也是素材当年选它的原因。四查一选的命令如下。

显卡检查的标准姿势是 lspci | grep -i nvidia（找不到命令就装 pciutils；Ubuntu 上是 sudo apt install pciutils，CentOS 上是 yum install pciutils）。看到显卡后，去 NVIDIA 官方的 CUDA-GPU 兼容列表（developer.nvidia.com/cuda-gpus）确认型号在列——素材里的 Quadro P2000 是 Pascal 架构的专业卡，完全兼容。系统版本用 uname -a 看内核、cat /etc/os-release 看发行版；gcc 用 gcc --version 查。下载则去官方下载页 developer.nvidia.com/cuda-downloads，选操作系统、架构、发行版、安装方式，会得到对应的安装包或仓库配置命令。下载完用官方发布的 MD5 校验和核对文件完整性，防止传输损坏——这是官方指南明确要求的一步。

# 1. 查显卡（pciutils 提供 lspci；输出里应看到 NVIDIA 型号）
lspci | grep -i nvidia

# 2. 查系统：内核版本与发行版（对照官方支持列表）
uname -a
cat /etc/os-release

# 3. 查宿主编译器：nvcc 编译时需要 gcc 配合
gcc --version

# 4. 下载后校验 MD5（官方下载页会给出对应校验和）
md5sum cuda_12.4.1_550.54.15_linux.run
# 与官网公布的值一致才算下载完整；不一致需重新下载

# 5. 下载页 developer.nvidia.com/cuda-downloads 的选择路径示例：
#    Operating System: Linux -> x86_64 -> Ubuntu -> 22.04 -> runfile (local)
#    得到 cuda_12.4.1_550.54.15_linux.run 这类安装包（版本号随当时最新版变化）

这里有个素材的真实经验值得记住：旧系统装新版驱动往往要补内核头。素材里安装时遇到过 /usr/bin/perl: bad interpreter 报错，根因是系统缺 gcc 和 perl；还有一次因为内核源码头文件（kernel-devel）与当前内核版本不匹配，驱动编译失败。官方指南同样强调：先装好 gcc 和与 uname -r 完全同版本的 kernel-devel/kernel-headers，再开始装驱动——这个坑 11.6 节会展开。前置检查都过了，才进入真正的安装环节。

11.4 runfile 安装：交互流程实战

现行版本的 runfile 安装流程以驱动已单独装好为前提（11.2 节说的"两半分离"）。下载到的 cuda_12.4.1_550.54.15_linux.run 是一个自解压安装器，官方指南说明它通过交互式 ncurses 界面引导安装。第一步 chmod +x 加执行权限，然后建议用 sudo sh 运行——官方指南特别指出：安装 Toolkit 到系统目录、创建 /usr/local/cuda 软链接这两步需要 root 权限，直接 sudo 省得中途被问密码。运行后按回车翻页读完 EULA 协议，输入 accept 接受，接下来就是一连串问答。

问答的核心是四件事：是否装驱动（选 n，驱动已单独装好）→ 是否装 Toolkit（选 y）→ Toolkit 安装路径（回车用默认）→ 是否创建 /usr/local/cuda 软链接（选 y）。官方指南明确：Toolkit 默认装到 /usr/local/cuda-12.4（带版本号），而 /usr/local/cuda 是一个指向它的软链接——有了这个链接，以后升级到 12.6、13.x，项目的编译配置一行都不用改，永远指向"当前最新"。官方指南还提到 Samples 现在不再随安装包内置，改放在 GitHub 的 NVIDIA/cuda-samples 仓库里，需要时单独拉取编译——所以安装器里看到 Samples 相关选项可以直接跳过。完整问答如下。

# 给安装包执行权限，并用 sudo 运行（runfile 是发行版无关的独立安装器）
chmod +x cuda_12.4.1_550.54.15_linux.run
sudo sh cuda_12.4.1_550.54.15_linux.run

# 交互问答（现行 12.x，驱动已单独装好的情况）：
#   EULA 协议：按回车翻页读完，输入 accept 接受
#   是否安装 NVIDIA 驱动？        -> n   （驱动已单独装好，别再装第二份）
#   是否安装 CUDA Toolkit？       -> y
#   Toolkit 安装路径？            -> 直接回车，默认 /usr/local/cuda-12.4
#   是否创建 /usr/local/cuda 软链接？ -> y  （项目统一引用这个链接）
#   是否安装 CUDA Samples？       -> n   （需要时从 GitHub 单独拉取）

对比一下素材里 2020 年的 CUDA 10.0 问答，就能直观看到版本演进的痕迹。当年 cuda_10.0.130_410.48_linux.run 的问答是：accept 协议 → 是否安装驱动（答 y，因为 10.0 的 runfile 自带 410.48 驱动，且当时没单独装过）→ 是否安装 OpenGL（答 n）→ 是否安装 x-config（答 n）→ 是否安装 Toolkit（答 y）→ 安装路径（回车默认）→ 是否创建软链接（答 y）→ 是否安装示例（答 n，省空间）。多出来的"驱动/OpenGL/x-config"三个问题，正是当年驱动与 Toolkit 打包在一起的证据；现在的安装器不再问这些，因为驱动早已独立成册。素材还留下两条血泪警告：千万不要重复安装显卡驱动，会导致系统损坏；升级 CUDA 前必须把旧版本卸载干净——这两条对现行版本依然成立，11.6 节细说。

# 2020 年 CUDA 10.0 的 runfile 问答（素材实录，历史对照）：
#   accept 协议 -> 是否安装驱动？y（10.0 自带 410.48 驱动，当时没单独装）
#   -> 是否安装 OpenGL？n -> 是否安装 x-config？n
#   -> 是否安装 Toolkit？y -> 安装路径？回车默认 /usr/local/cuda-10.0
#   -> 是否创建软链接？y -> 是否安装示例？n（省空间）
# 结论：多出的"驱动/OpenGL/x-config"三问 = 当年驱动与 Toolkit 打包的证据

11.5 环境配置与验证：PATH、nvcc 与 deviceQuery

安装完成不等于能用——官方指南把接下来的步骤叫 Post-installation Actions（安装后动作），分"必做"和"推荐"两级。必做的是环境变量配置：把 Toolkit 的 bin 目录加进 PATH（让 nvcc 命令随处可用），把 lib64 目录加进 LD_LIBRARY_PATH（让运行库能被找到）。素材当年的做法是编辑 /etc/profile 追加两行 export 再 source，现行版本完全一样，只把路径里的 10.0 换成 12.4——注意这里有个细节：PATH 里建议写 /usr/local/cuda/bin（走软链接），而不是 /usr/local/cuda-12.4/bin，这样升级 Toolkit 版本后配置不用改；而官方指南同时提醒，runfile 安装下 LD_LIBRARY_PATH 必须显式包含 lib64，因为 runfile 不像包管理器那样自动配置。

配置完就是验证环节，官方指南推荐用三个层次的检查。第一层 nvidia-smi：确认驱动在、显卡在、版本匹配（11.2 节已见）。第二层 nvcc --version：确认编译器就位——nvcc 输出 "Cuda compilation tools, release 12.4" 这样的版本行，注意 nvcc 来自 Toolkit，和驱动无关，所以"nvidia-smi 正常但 nvcc 报 command not found"是新手最常见的情况，原因就是环境变量没配或 Toolkit 没装。第三层是编译运行官方样例：从 GitHub 拉下 NVIDIA/cuda-samples，编译运行 deviceQuery，它会让 CUDA 运行时真正去探测 GPU，输出结尾必须是 Result = PASS——官方指南原话强调，它验证"Toolkit 能否找到并正确通信 CUDA 硬件"，是"装好了"的最终裁定。三层全过，环境才算真正立起来。

# 必做：编辑 /etc/profile（或 ~/.bashrc），追加两行
sudo vim /etc/profile

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

# 使配置立即生效（新开的终端自动带上，不用再 source）
source /etc/profile

# 验证 1：驱动与显卡（nvidia-smi 由驱动提供）
nvidia-smi

# 验证 2：编译器就位（nvcc 由 Toolkit 提供）
nvcc --version
# 输出含：Cuda compilation tools, release 12.4, V12.4.131

# 验证 3：官方样例 deviceQuery——让运行时真实探测 GPU
git clone https://github.com/NVIDIA/cuda-samples
cd cuda-samples/Samples/1_Utilities/deviceQuery
make
./deviceQuery
# 结尾必须是 Result = PASS，才算 Toolkit 与硬件通信成功

素材里的验证命令和今天一模一样：lspci | grep VGA 查显卡、nvidia-smi 查安装成功。差别只在细节：当年 nvcc --version 前面还多了一步"yum 装 pciutils/gcc/perl"的补课，而现在主流发行版默认都有。还有一点值得记住：deviceQuery 报"找不到设备"而 nvidia-smi 正常时，多半是 /dev/nvidia* 设备文件缺失或权限不对（官方指南的明确提示），通常重装驱动或重启即可恢复——这类"驱动在、工具链在、就是探测不到"的谜题，排错思路在下一节收尾。

11.6 排错、卸载与 CUDA 十年版本演进

素材笔记的排错三连今天依然通用，按频率排：① nouveau 开源驱动冲突——某些发行版内核默认加载开源的 nouveau 驱动，它和 NVIDIA 闭源驱动抢设备，症状是装驱动时"找不到设备"或装完起不来图形界面。解法是写黑名单文件禁用 nouveau、备份并重建 initramfs、重启后用 lsmod | grep nouveau 确认没有输出。② 内核头不匹配——驱动编译需要与当前内核完全同版本的 kernel-devel，用 yum install kernel-devel-$(uname -r)（Ubuntu 对应 linux-headers-$(uname -r)）精确安装。③ 缺 gcc/perl——素材里的 /usr/bin/perl: bad interpreter 就是这类，装上 gcc 和 perl 即解。

卸载与升级同样有纪律。官方卸载路径分两条：Toolkit 用 sudo /usr/local/cuda/bin/cuda-uninstaller，单独安装的驱动用 sudo /usr/bin/nvidia-uninstall（包管理器装的则用 apt/dnf 卸）。升级前的铁律来自素材的血泪教训：先卸干净旧版本，再装新版本——CUDA 的多个版本组件（库、头文件、软链接）会互相踩踏，混装新旧版本是"意想不到的错误"的头号来源。同时绝不要重复安装显卡驱动，驱动安装器每次都会重写内核模块，重复装轻则黑屏、重则系统损坏。把这两条刻进脑子，CUDA 环境的日常维护就不会翻车。

# 排错 1：禁用 nouveau 开源驱动（某些发行版需要）
sudo vim /etc/modprobe.d/nvidia-installer-disable-nouveau.conf
# 文件内容：
#   blacklist nouveau
#   options nouveau modeset=0

# 备份并重建 initramfs，然后重启
sudo mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak
sudo dracut /boot/initramfs-$(uname -r).img $(uname -r)
sudo reboot

# 重启后确认：无输出 = nouveau 已禁用成功
lsmod | grep nouveau

# 排错 2：内核头与当前内核完全同版本（CentOS/RHEL 系）
sudo yum install kernel-devel-$(uname -r) kernel-headers-$(uname -r)
# Ubuntu/Debian 系对应：sudo apt install linux-headers-$(uname -r)

# 卸载：Toolkit 与驱动各走各的卸载器
sudo /usr/local/cuda/bin/cuda-uninstaller
sudo /usr/bin/nvidia-uninstall

# 铁律：升级前先卸干净旧版本；绝不重复安装显卡驱动

最后把 CUDA 十年的版本演进串一遍，你就知道素材笔记的价值了。2010 年代早期 CUDA 初代（1.x）只支持 Tesla 架构；2016 年 Pascal 架构（Quadro P2000 就在这代）伴随 CUDA 8；2020 年 CUDA 10.x 时代驱动与 Toolkit 打包在同一个 runfile 里（本章素材），同时也为 Ampere 架构埋下伏笔；从 CUDA 11 起 NVIDIA 把驱动与 Toolkit 正式分离，runfile 不再捆绑驱动，安装问答里的"OpenGL/x-config"问题随之消失；2023-2024 年 CUDA 12.x（素材重写的目标版本）进一步把官方推荐路径收敛到包管理器（deb/rpm），runfile 成为"发行版无关"的备用选项，Samples 移入 GitHub 仓库独立管理；2025 年后 CUDA 13.x 延续同一套流程。变的是版本号与安装形态，不变的是驱动管跑、Toolkit 管编、nvidia-smi 验驱动、nvcc 验编译、deviceQuery 验通信这套骨架。

# CUDA 版本演进速查（历史时间线，用于对照素材）
#   CUDA 8.x   (2016)  Pascal 架构；Quadro P2000 属此代
#   CUDA 10.x  (2020)  驱动与 Toolkit 打包在 runfile 中（本章素材）
#   CUDA 11.x  (2020+) 驱动与 Toolkit 正式分离，runfile 不再捆绑驱动
#   CUDA 12.x  (2023+) 官方推荐包管理器；Samples 移入 GitHub 仓库
#   CUDA 13.x  (2025+) 延续同一套安装与验证流程
# 骨架不变：nvidia-smi 验驱动 / nvcc 验编译 / deviceQuery 验通信

这一章我们完成了从"特征检测为什么慢"到"GPU 加速环境就绪"的跨越：理解了像素级并行与吞吐量哲学（11.1），分清了驱动与 Toolkit 这对"两半"（11.2），走完前置检查与下载（11.3），实战了 runfile 交互安装（11.4），配置环境并三连验证（11.5），最后排掉 nouveau、内核头等老坑并看清十年版本演进（11.6）。两个钩子留给后面：一是本章反复提到的 threadIdx/blockIdx/blockDim 与 __global__ 内核，正是第 12 章"内核与内存模型"的主题；二是环境立起来之后，第 12 章就能把 11.1 节那个像素取反的思路真正编译运行——工具已磨好，第 12 章开始用它切图像。