流 年

自去年3月份折腾扩散模型一段时间后，发现精力不够被迫暂停，后以公司项目上的开发任务为重，后来干脆把那台自有的塔式服务器重新安装了服务版的debian系统，用来测试项目上的各种 shell、python 运维脚本，包括 docker 镜像编译打包制作等的自动化运维脚本。下半年又因想测试一些 docker swarm 集群为此将内存升级到 64G，但那张英伟达 3090 显卡却一直吃灰，没机会用上。

最近 deepseek 爆火，又燃起了捣腾那张 3090 显卡的冲动。因此抽空又重新安装一下模型的 GPU 环境，以便后面有空了再研究一些好玩的东西做准备。

安装必要的依赖工具

sudo apt install dkms build-essential gcc make linux-headers-$(uname -r)

禁止系统自带nouveau显卡驱动

1.修改/etc/default/grub文件，在启动时直接禁用nouveau驱动：

sudo vim /etc/default/grub

在文件中的GRUB_CMDLINE_LINUX参数中加入下面内容：

rd.driver.blacklist=nouveau

更新grub：

update-grub

2.在系统中禁用nouveau驱动：

echo "blacklist nouveau" | sudo tee -a /etc/modprobe.d/blacklist-nvidia-nouveau.conf
echo "options nouveau modeset=0" | sudo tee -a /etc/modprobe.d/blacklist-nvidia-nouveau.conf
sudo update-initramfs -u

然后 reboot 重启生效

下载Nvidia显卡驱动并安装

1.下载驱动并设置执行权限：

wget https://us.download.nvidia.com/XFree86/Linux-x86_64/550.67/NVIDIA-Linux-x86_64-550.67.run
sudo chmod +x NVIDIA-Linux-x86_64-550.67.run

2.安装：

./NVIDIA-Linux-x86_64-550.67.run

注意：

遇到 Would you like to register the kernel module sources with DKMS? This will allow DKMS to automatically build a new module, if you install a different kernel later 选No

遇到 Would you like to run the nvidia-xconfig utility to aotumatically update your X configuration file so that the NVIDIA X driver will be used when you restart X?ANy pre-existing X configuration file will be backed up. 选No

遇到 Install NVIDIA's 32-bit compatibility libraries? 选No

如上截图，驱动安装成功后右上角为 cuda 支持的最大版本。

安装cuda

cuda

cudnn

wget https://developer.download.nvidia.com/compute/cuda/12.4.0/local_installers/cuda_12.4.0_550.54.14_linux.run
chmod +x cuda_12.4.0_550.54.14_linux.run
./cuda_12.4.0_550.54.14_linux.run

安装过程中，会问你是否需要下载驱动（Drive），正常情况下请不要下载，即选择否。 取消第一个Driver选项里的X，[X]改为[ ]，不下载驱动Driver，因为已安装（这里需要强调一下）。选择Install。

配置环境变量，将以下内容添加到~/.bashrc文件中:

export PATH=/usr/local/cuda-12.4/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.4/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

加载环境变量：

source ~/.bashrc

查看版本：

root@xiao:/data2/cuda# nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Tue_Feb_27_16:19:38_PST_2024
Cuda compilation tools, release 12.4, V12.4.99
Build cuda_12.4.r12.4/compiler.33961263_0