目錄
- 1 CUDA驅(qū)動(dòng)更新
- 1.1 原有版本CUDA驅(qū)動(dòng)卸載
- 1.2 CUDA驅(qū)動(dòng)下載與安裝
- 1.3 環(huán)境變量配置
- 1.4 nvcc -V驗(yàn)證
- 1.5 重啟電腦
- 1.6 安裝nvidia-container-toolkit
- 2 docker創(chuàng)建
- 2.1 docker安裝
- 2.2docker鏡像
- 2.3 docker命令
- 2.4docker創(chuàng)建鏡像
- 2.5docker創(chuàng)建與運(yùn)行示例
- 3 CUDA安裝與驗(yàn)證
- 3.1 容器內(nèi)基本環(huán)境安裝
- 3.2 CUDA驅(qū)動(dòng)下載與安裝
- 3.3 環(huán)境變量配置
- 3.4 CUDA安裝驗(yàn)證
- 4 CUDNN安裝與驗(yàn)證
- 4.1 cuDNN下載
- 4.2 cuDNN安裝
- 4.3 cuDNN安裝驗(yàn)證
- 5 conda Python環(huán)境安裝
- 5.1 Python Miniconda安裝
- 5.2 conda使用
- 5.3 jupyter notebook 安裝
- 6 ssh服務(wù)安裝與配置
- 7 全部命令
本文是《Python從零開(kāi)始進(jìn)行AIGC大模型訓(xùn)練與推理》（參考資料）專(zhuān)欄的一部分，所述方法和步驟基本上是通用的，不局限于AIGC大模型深度學(xué)習(xí)環(huán)境。
Docker AIGC等大模型深度學(xué)習(xí)環(huán)境搭建步驟主要包含如下步驟：
CUDA驅(qū)動(dòng)更新Docker創(chuàng)建CUDA安裝與驗(yàn)證CUDNN安裝與驗(yàn)證conda Python環(huán)境安裝ssh服務(wù)安裝與配置全部命令
1 CUDA驅(qū)動(dòng)更新
ChatGPT、Stable Diffusion等大模型屬于相對(duì)較新的模型，所以依賴(lài)的Pytorch經(jīng)常為torch1.12以上版本。相應(yīng)的CUDA版本則至少為CUDA 11.3，并且顯卡驅(qū)動(dòng)對(duì)應(yīng)的CUDA版本號(hào)不能小于CUDA庫(kù)的版本號(hào)。下面將以CUDA 11.8驅(qū)動(dòng)安裝為例。
1.1 原有版本CUDA驅(qū)動(dòng)卸載
如果系統(tǒng)已安裝低版本CUDA驅(qū)動(dòng)，那么可通過(guò)如下命令進(jìn)行卸載。
sudo /usr/bin/nvidia-uninstall sudo apt-get purge nvidia* sudo apt-get purge cuda* sudo apt-get autoremove sudo modprobe -r nvidia-drm#這一步不一定需要
1.2 CUDA驅(qū)動(dòng)下載與安裝
CUDA下載地址為“https://developer.nvidia.com/cuda-toolkit-archive”，頁(yè)面如下所示，選擇“CUDA Toolkit 11.8.0 (October 2022), Versioned Online Documentation”。
選擇CUDA 11.8之后繼續(xù)選擇系統(tǒng)類(lèi)型和下載文件，如下圖所示。選擇完成之后會(huì)顯示出runfile下載地址和安裝方式，即“wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run”和“sudo sh cuda_11.8.0_520.61.05_linux.run”。
輸入sudo sh cuda_11.8.0_520.61.05_linux.run安裝時(shí)，在安裝選項(xiàng)頁(yè)面用回車(chē)和上下鍵僅選擇安裝驅(qū)動(dòng)，不安裝其他CUDA套件，如下圖所示。其中，前面的“X”表示已選擇的將要安裝內(nèi)容。
1.3 環(huán)境變量配置
待安裝完成之后，采用如下命令進(jìn)行環(huán)境變量設(shè)置。
export CUDA_HOME=/usr/local/cuda export PATH=/usr/local/cuda-11.8/bin:$PATH export LD_LIBRARY_PATH=/usr/lcoal/cuda-11.8/lib64:$LD_LIBRARY_PATH source ~/.bashrc nvcc -V
1.4 nvcc -V驗(yàn)證
運(yùn)行nvcc -V命令時(shí)系統(tǒng)會(huì)輸出如下結(jié)果，顯示相應(yīng)驅(qū)動(dòng)版本號(hào)。如果提示“Command 'nvcc' not found, but can be installed with”，那么使用“apt install nvidia-cuda-toolkit”安裝nvidia-cuda-toolkit即可。如果nvcc -V輸出的版本號(hào)不對(duì)，那么請(qǐng)按照上一節(jié)重新設(shè)置并更新環(huán)境變量。
1.5 重啟電腦
重啟電腦后，運(yùn)行“nvidia-smi”，如果提示“NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.”
解決方法如下：
（1）先通過(guò)“ls -l /usr/src/”查看驅(qū)動(dòng)版本號(hào)，如下圖最后一行“nvidia -v 520.61.05”。
（2）sudo dkms install -m nvidia -v 520.61.05
完成之后，輸入nvidia-smi可查看cuda版本和GPU顯存使用情況，如下圖所示。
1.6 安裝nvidia-container-toolkit
如果不安裝nvidia-container-toolkit，那么創(chuàng)建docker時(shí)可能會(huì)報(bào)錯(cuò)“docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].”。安裝方法請(qǐng)參考“https://www.cnblogs.com/dan-baishucaizi/p/15102419.html”，即：
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit sudo systemctl restart docker
2 docker創(chuàng)建
docker容器是Linux下的虛擬機(jī)，并且在虛擬機(jī)下?lián)碛衦oot權(quán)限。這樣既可以獲取較高的權(quán)限，又可以避免對(duì)主機(jī)文件帶來(lái)誤操作。同一臺(tái)主機(jī)上可以創(chuàng)建多個(gè)docker，并且每個(gè)docker中可安裝不同版本CUDA，但是版本號(hào)不能高于主機(jī)CUDA驅(qū)動(dòng)版本，否則可能會(huì)報(bào)錯(cuò)“CUDA driver version is insufficient for CUDA runtime version”。
2.1 docker安裝
Docker命令一般需要sudo權(quán)限，即“sudo docker 命令內(nèi)容”。如果系統(tǒng)提示沒(méi)有docker命令，那么需要按照下面步驟安裝docker。
# 更新 $ sudo apt-get update # 安裝最新的Docker sudo apt-get install docker.io # 啟動(dòng) sudo systemctl enable docker sudo systemctl start docker
2.2docker鏡像
Docker查看系統(tǒng)鏡像的方法為“docker images”，運(yùn)行后會(huì)有如下頁(yè)面，頁(yè)面中含有鏡像ID，即IMAGE ID。
我們可以通過(guò)docker pull來(lái)下載鏡像，比如通過(guò)“docker pull ubuntu:18.04”下載基礎(chǔ)的ubuntu 18.04鏡像。下載完成后，可通過(guò)“docker images”命令進(jìn)行查看，如上所述。
刪除已有鏡像的命令為“docker rmi IMAGE ID”。IMAGE ID不需要完整內(nèi)容，只需輸入前幾個(gè)字符就可以了，例如“docker rmi 394”
2.3 docker命令
容器Container相當(dāng)于是根據(jù)鏡像安裝的虛擬機(jī)。
(1) 我們可以使用docker images來(lái)列出本地主機(jī)上的鏡像。
(2) 創(chuàng)建并運(yùn)行docker容器：docker run -d -it -p 1088:8888 -p 1022:22 -p 1059:5900 -v /server/data:/docker/data –gpus all –shm-size="32g" ubuntu:18.04/bin/bash
-p：docker端口映射，冒號(hào)前為主機(jī)端口號(hào)，冒號(hào)后為docker容器端口號(hào)。 -v：docker共享文件夾，冒號(hào)前為主機(jī)文件夾，冒號(hào)后為docker容器文件夾。 --gpus all：docker中可使用GPU。 --shm-size="32g"：docker默認(rèn)的最大內(nèi)存較小，這里修改為32G內(nèi)存，可根據(jù)修改自行替換為其他值。 ubuntu:18.04：鏡像名稱(chēng)，為docker images返回中的一個(gè)，根據(jù)需要進(jìn)行替換。
(3) 查看docker狀態(tài)：docker ps -a，可查看docker狀態(tài)，以及容器ID（countainerID）。
(4) 進(jìn)入docker：docker exec -it countainerID /bin/bash，countainerID一般較長(zhǎng)，只需前幾個(gè)數(shù)字就可以了，系統(tǒng)會(huì)自動(dòng)識(shí)別，與上面刪除鏡像的方法類(lèi)似。
（5）停止docker，docker stop countainerID。
（6）啟動(dòng)docker，docker start countainerID，然后運(yùn)行第（4）步進(jìn)入docker。
（7）刪除docker，docker rm countainerID，運(yùn)行前先通過(guò)第（5）步停止docker。
(8) 清除全部已停止運(yùn)行的docker，docker system prune。
2.4docker創(chuàng)建鏡像
創(chuàng)建鏡像是指將本地的docker環(huán)境打包成鏡像，便于環(huán)境復(fù)制或部署。提交鏡像的命令如下所示。
docker commit OPTIONS countainerID 自定義鏡像名稱(chēng):TAG說(shuō)明
OPTIONS說(shuō)明：
（1）-a :提交的鏡像作者；
（2）-c :使用Dockerfile指令來(lái)創(chuàng)建鏡像；
（3）-m :提交時(shí)的說(shuō)明文字；
（4）-p :在commit時(shí)，將容器暫停。
鏡像提交示例如下：
docker commit -a "rdfast" -m "aigc base" 2c5 aigc:v1
2.5docker創(chuàng)建與運(yùn)行示例
根據(jù)前文描述，我們主要運(yùn)行下面三條命令進(jìn)行docker創(chuàng)建與運(yùn)行。
docker pull ubuntu:18.04 docker run -d -it -p 1088:8888 -p 1022:22 -p 1059:5900 -v /server/data:/docker/data --gpus all --shm-size="32g" ubuntu:18.04 /bin/bash docker exec -it countainerID /bin/bash
下文各種環(huán)境的安裝可以在主機(jī)上運(yùn)行，也可以在docker中進(jìn)行，安裝步驟和方法完全一致。
3 CUDA安裝與驗(yàn)證
ChatGPT、Stable Diffusion等大模型屬于相對(duì)較新的模型，所以依賴(lài)的Pytorch經(jīng)常為torch1.12以上版本。相應(yīng)的CUDA版本則至少為CUDA 11.3，并且顯卡驅(qū)動(dòng)對(duì)應(yīng)的CUDA版本號(hào)不能小于CUDA庫(kù)的版本號(hào)。由于上述主機(jī)已安裝CUDA 11.8驅(qū)動(dòng)，docker內(nèi)安裝不大于11.8版本的CUDA都是可以的。下面以CUDA 11.3安裝為例。
3.1 容器內(nèi)基本環(huán)境安裝
以上docker的容器安裝了一個(gè)基礎(chǔ)的ubuntu 18.04系統(tǒng)，現(xiàn)在需要安裝一些基本環(huán)境，命令如下所示。
apt-get update apt-get install ssh vim gcc cmake build-essential -y
3.2 CUDA驅(qū)動(dòng)下載與安裝
CUDA下載地址為“https://developer.nvidia.com/cuda-toolkit-archive”，頁(yè)面如下所示，選擇“CUDA Toolkit 11.3.0 (April 2021), Versioned Online Documentation”。
選擇CUDA 11.3之后繼續(xù)選擇系統(tǒng)類(lèi)型和下載文件，如下圖所示。選擇完成之后會(huì)顯示出runfile下載地址和安裝方式，即“wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run”和“sudo sh cuda_11.3.0_465.19.01_linux.run”。
輸入sh cuda_11.3.0_465.19.01_linux.run安裝時(shí)，在安裝選項(xiàng)頁(yè)面用回車(chē)和上下鍵選擇安裝內(nèi)容，注意不要選擇驅(qū)動(dòng)（驅(qū)動(dòng)已經(jīng)在此之前安裝過(guò)了），如下圖所示。其中，前面的“X”表示已選擇的將要安裝內(nèi)容。
3.3 環(huán)境變量配置
待安裝完成之后，采用如下命令進(jìn)行環(huán)境變量設(shè)置。
export CUDA_HOME=/usr/local/cuda export PATH=/usr/local/cuda-11.3/bin:$PATH export LD_LIBRARY_PATH=/usr/lcoal/cuda-11.3/lib64:$LD_LIBRARY_PATH source ~/.bashrc nvcc -V
運(yùn)行“nvcc -V”后輸出如下內(nèi)容。
3.4 CUDA安裝驗(yàn)證
在命令行分別輸入如下內(nèi)容驗(yàn)證CUDA是否安裝成功。
（1）cd /usr/local/cuda/samples/1_Utilities/deviceQuery
（2）make
（3）./deviceQuery
運(yùn)行上述命令后，終端界面會(huì)有如下輸出。如果終端界面最后輸出“PASS”，則表示CUDA套件已經(jīng)成功安裝。
如果CUDA套件版本號(hào)大于驅(qū)動(dòng)版本號(hào)，則有可能提示如下錯(cuò)誤。
cudaGetDeviceCount returned 35
-> CUDA driver version is insufficient for CUDA runtime version
Result = FAIL
4 CUDNN安裝與驗(yàn)證
4.1 cuDNN下載
cuDNN安裝文件下載官網(wǎng)地址為“https://developer.nvidia.com/rdp/cudnn-archive”，需要注冊(cè)后才能下載。cuDNN版本依賴(lài)于CUDA架構(gòu)版本，即需要與上一步安裝的CUDA組件相對(duì)應(yīng)。這里我們下載適合CUDA 11.3的cuDNN，即Download cuDNN v8.2.0 (April 23rd, 2021), for CUDA 11.x，并且系統(tǒng)版本為ubuntu 18.04（根據(jù)實(shí)際情況選擇相應(yīng)系統(tǒng)版本），如下圖所示。
由于cuDNN需要注冊(cè)登錄賬號(hào)才能下載，所以無(wú)法通過(guò)wget指令直接進(jìn)行下載，需要通過(guò)瀏覽器頁(yè)面下載對(duì)應(yīng)安裝文件。其中，cuDNN安裝文件包括以下4個(gè)部分：
- cuDNN Library for Linux (x86_64)
- cuDNN Runtime Library for Ubuntu18.04 (Deb)
- cuDNN Developer Library for Ubuntu18.04 (Deb)
- cuDNN Code Samples and User Guide for Ubuntu18.04 (Deb)
4.2 cuDNN安裝
Linux cuDNN庫(kù)（cuDNN Library for Linux）是一個(gè)壓縮文件，通過(guò)終端指令“tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz”進(jìn)行解壓。cuDNN Library解壓結(jié)果需要復(fù)制到CUDA安裝目錄，相應(yīng)指令為“cp cuda/include/cudnn.h /usr/local/cuda/include/”、“cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/”。復(fù)制后的庫(kù)文件需進(jìn)一步增加權(quán)限，其指令為“chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn*”。
剩下三個(gè)Deb文件（cuDNN Runtime Library for Ubuntu18.04(Deb)、cuDNN Developer Library for Ubuntu18.04(Deb)、cuDNN Code Samples and User Guide for Ubuntu18.04(Deb)）采用dpkg命令進(jìn)行安裝，分別輸入指令“dpkg -i libcudnn8_8.2.0.53-1+cuda11.3_amd64.deb”、“dpkg -i libcudnn8-dev_8.2.0.53-1+cuda11.3_amd64.deb ”和“dpkg -i libcudnn8-samples_8.2.0.53-1+cuda11.3_amd64.deb”。
如果報(bào)如下不是軟連接（not a symbolic link）的錯(cuò)，那么通過(guò)ln -sf命令逐一創(chuàng)建軟連接即可。
/sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_train.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_train.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8 is not a symbolic link /sbin/ldconfig.real: /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8 is not a symbolic link
解決方案如下：
ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8
4.3 cuDNN安裝驗(yàn)證
經(jīng)過(guò)以上步驟，cuDNN相關(guān)文件已經(jīng)全部完成安裝，在命令行分別輸入如下內(nèi)容驗(yàn)證cuDNN是否安裝成功。
（1）cd /usr/src/cudnn_samples_v8/mnistCUDNN/
（2）make clean && make
（3）./mnistCUDNN
運(yùn)行上述命令后，終端界面會(huì)有如下輸出。如果終端界面最后輸出“Test passed”，則表示cuDNN套件已經(jīng)成功安裝。
如果提示如下錯(cuò)誤，那么解決方法為“apt-get install libfreeimage3 libfreeimage-dev -y”。
rm -rf *orm -rf *o
rm -rf mnistCUDNN
CUDA_VERSION is 11030
Linking agains cublasLt = true
CUDA VERSION: 11030
TARGET ARCH: x86_64
HOST_ARCH: x86_64
TARGET OS: linux
SMS: 35 50 53 60 61 62 70 72 75 80 86
test.c:1:10: fatal error: FreeImage.h: No such file or directory
#include "FreeImage.h"
^~~~~~~~~~~~~
compilation terminated.
>>> WARNING - FreeImage is not set up correctly. Please ensure FreeImage is set up correctly.
5 conda Python環(huán)境安裝
5.1 Python Miniconda安裝
Python環(huán)境可以通過(guò)conda進(jìn)行管理，相應(yīng)的安裝軟件有Anaconda和Miniconda。相比之下，Miniconda是一款小巧的Python環(huán)境管理工具，安裝包大約只有50MB。就管理Python環(huán)境而言，Miniconda和Anaconda的使用方式幾乎沒(méi)有任何區(qū)別。Miniconda安裝文件的下載地址為“https://docs.conda.io/en/latest/miniconda.html”。
這里選擇python 3.8版本，wget下載方式為“wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.1.0-1-Linux-x86_64.sh”。安裝步驟如下，安裝過(guò)程需要選擇“yes or no”的地方均輸入“yes”。
bash Miniconda3-py38_23.1.0-1-Linux-x86_64.sh source ~/.bashrc
5.2 conda使用
（1）查看安裝包：conda list
（2）查看虛擬環(huán)境：conda env list
（3）創(chuàng)建虛擬環(huán)境：conda create -n env_name python=3.9
（4）安裝包：conda install -n env_name [package]
（5）激活環(huán)境：conda activate env_name
5.3 jupyter notebook 安裝
jupyter notebook是一種基于web的Python開(kāi)發(fā)環(huán)境，可通過(guò)默認(rèn)可“IP:8888”或“127.0.0.1:8888”或“localhost:8888”。如果docker創(chuàng)建時(shí)指定了主機(jī)端口映射，如“-p 1088:8888”，那么可將端口號(hào)替換成1088進(jìn)行訪問(wèn)。主機(jī)允許端口號(hào)防火墻的命令為“sudo ufw allow端口號(hào)”。安裝步驟及配置過(guò)程如下：
(1) 安裝命令為“conda install jupyter notebook”。
(2) 生成配置文件，jupyter notebook –generate-config，運(yùn)行該命令后會(huì)在根目錄下生成配置文件，如“/root/.jupyter/jupyter_notebook_config.py”。修改配置文件中如下內(nèi)容。端口號(hào)也可以在配置文件中進(jìn)行修改。
c.NotebookApp.allow_remote_access = True c.NotebookApp.allow_root = True c.NotebookApp.ip = '0.0.0.0'
(3)設(shè)置登錄密碼，jupyter notebook password。
(4)運(yùn)行命令為“jupyter notebook”，但是關(guān)閉終端時(shí)會(huì)中斷運(yùn)行，可以采用nohup命令來(lái)保持運(yùn)行，即“nohup jupyter notebook &”。
6 ssh服務(wù)安裝與配置
以上docker 容器是通過(guò)命令“docker exec -it containerID /bin/bash”進(jìn)入的，配置ssh服務(wù)后，docker也可以通過(guò)ssh直接遠(yuǎn)程訪問(wèn)。
- 安裝ssh服務(wù)：apt-get update，apt-get install ssh -y。
- 啟動(dòng)服務(wù)：service ssh start。
- 關(guān)閉服務(wù)：service ssh stop。
- 注意事項(xiàng)：將/etc/ssh/sshd_config文件中PermitRootLogin 設(shè)為yes，否則有可能出現(xiàn)權(quán)限問(wèn)題。
- 重啟服務(wù)：service ssh restart。
- 查看服務(wù)是否正常運(yùn)行：service ssh status。
- 為系統(tǒng)設(shè)置密碼，命令為“passwd”。
這樣就可以通過(guò)ssh訪問(wèn)docker了，如果docker創(chuàng)建時(shí)設(shè)置了1022端口映射，那么即可通過(guò)該端口進(jìn)行ssh連接。
7 全部命令
docker pull ubuntu:18.04 docker run -d -it -p 1088:8888 -p 1022:22 -p 1059:5900 -v /server/data:/docker/data --gpus all --shm-size="32g" ubuntu:18.04 /bin/bash docker exec -it containerID /bin/bash apt-get update apt-get install ssh vim gcc cmake build-essential -y wget https://developer.download.nvidia.com/compute/cuda/11.3.0/local_installers/cuda_11.3.0_465.19.01_linux.run sh cuda_11.3.0_465.19.01_linux.run export CUDA_HOME=/usr/local/cuda export PATH=/usr/local/cuda-11.3/bin:$PATH export LD_LIBRARY_PATH=/usr/lcoal/cuda-11.3/lib64:$LD_LIBRARY_PATH source ~/.bashrc nvcc -V cd /usr/local/cuda/samples/1_Utilities/deviceQuery make ./deviceQuery tar -zxvf cudnn-11.3-linux-x64-v8.2.0.53.tgz cp cuda/include/cudnn.h /usr/local/cuda/include/ cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ chmod a+r /usr/local/cuda/include/cudnn.h /usr/local/cuda/lib64/libcudnn* ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8 ln -sf /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8.2.0 /usr/local/cuda-11.3/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8 dpkg -i libcudnn8_8.2.0.53-1+cuda11.3_amd64.deb dpkg -i libcudnn8-dev_8.2.0.53-1+cuda11.3_amd64.deb dpkg -i libcudnn8-samples_8.2.0.53-1+cuda11.3_amd64.deb apt-get install libfreeimage3 libfreeimage-dev -y cd /usr/src/cudnn_samples_v8/mnistCUDNN/ make clean && make ./mnistCUDNN wget https://repo.anaconda.com/miniconda/Miniconda3-py38_23.1.0-1-Linux-x86_64.sh bash Miniconda3-py38_23.1.0-1-Linux-x86_64.sh source ~/.bashrc conda install jupyter notebook jupyter notebook --generate-config vi /root/.jupyter/jupyter_notebook_config.py c.NotebookApp.allow_remote_access = True c.NotebookApp.allow_root = True c.NotebookApp.ip = '0.0.0.0' jupyter notebook password nohup jupyter notebook & apt-get update apt-get install ssh -y service ssh start service ssh stop vi /etc/ssh/sshd_config PermitRootLogin yes service ssh restart service ssh status passwd
