选中内容(绿色)时除了会搜索文章名,还会搜索文章内容
点击结果中的文章名进入文章界面后可以按Ctrl+F在页面内搜索
  • 版权:CC BY-SA 4.0
  • 创建:2019-10-13
  • 更新:2020-11-23
Tensorflow Linux 下 GPU + Docker 环境安装


这里使用 docker , 安装环境更加简单(只需要装 NVIDIA 驱动,不需要装cuda,当然也不用为cuda版本烦恼)稳定~
而且可以同时运行多个 docker,比如同时运行多个 jupyterlab 给不同人使用

安装docker

安装 docker,版本必须是19.03及以上(可以使用docker --version 查看),如果版本低于这个版本,后面使用nvidia-docker 驱动就会失败,会提示找不到--gpu all 参数

安装

  • 如果是Manjaro, 直接yay -S docker
  • 其他发行版:

参见官方教程:https://docs.docker.com/install/linux/docker-ce/debian/

deepin 是基于 debian 9.0
如果是 deepin 则需要修改 sudo vim /usr/share/python-apt/templates/Deepin.info 里面的unstable为stable
并使用命令sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian stretch stable"

设置代理

如果下载慢,可能需要设置代理, 也可以不使用官方镜像,使用国内的镜像,比如 daocloud 镜像加速

docker 代理设置参考: https://neucrack.com/p/286

pull 镜像的时候可以设置代理让拉取更快, 创建容器时建议将代理去掉

设置当前用户可以访问docker(非root)

参考这里: https://docs.docker.com/install/linux/linux-postinstall/

  1. sudo groupadd docker
  2. sudo usermod -aG docker $USER
  3. newgrp docker # 或者重新开启终端即可,如果未生效,可重启

常用命令

docker images: 列出镜像列表
docker run [options] image_name [command]:从镜像新建一个容器
docker ps: 正在运行的容器
docker ps -a: 所有容器,包括没有正在运行的
docker rm container_name:删除容器
docker rmi image_name:删除镜像
docker start container_name:启动容器
docker attatch container_name:附着到容器里
docker exec conrainer_name [comand]:在容器中执行命令
docker logs container_name: 查看容器执行log

docker build -t image_name .:从 Dockerfile 构建一个镜像

docker run 常用参数

-it:启用交互式终端
-rm:及时删除,不保存容器,即退出后就删除
--gpus all:启用所有GPU支持
-p port1:port2:宿主机和容器端口映射,port1为宿主机的端口
-v volume1:volume2:宿主机和容器的磁盘映射, volume1是宿主机的文件夹,比如映射/home/${USER}/notes/tf/notes
--name name:给容器取名,如果没有这个参数,名字就是随机生成的
--device device:container_device:挂在设备,比如/dev/ttyUSB0:/dev/ttyUSB0
--network=host: 使用宿主机的网络
--restart: 自动启动, 可以用这个设置开机自启, 如果run的时候忘了可以用docker update --restart=always 容器名来更新

  1. no: 不自动重启容器. (默认value)
  2. on-failure: 容器发生error而退出(容器退出状态不为0)重启容器
  3. unless-stopped: 在容器已经stop掉或Docker stoped/restarted的时候才重启容器
  4. always: 在容器已经stop掉或Docker stoped/restarted的时候才重启容器

安装显卡驱动

显卡安装部分独立写了一篇, 参考Linux Nvidia显卡安装

安装镜像

参考官方文档:https://www.tensorflow.org/install/docker

比如我这里Ubuntu:(一定看文档,可能会不一样,有更新)

按照 readme 中的installation guide 安装即可, 比如 Ubuntu

  1. # Add the package repositories
  2. distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
  3. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
  4. curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
  5. sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
  6. sudo systemctl restart docker

如果是deepin,则需要改一下系统版本

  1. distribution="ubuntu18.04"
  2. curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
  3. curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
  4. sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
  5. sudo systemctl restart docker

如果是 Manjaro, 只需要命令 yay -S nvidia-docker 即可!(如果遇到下载慢,可以使用poipo设置全局代理,参考终端代理设置方法

  • 测试 nvidia-docker 以及cuda能不能使用起来

使用nvidia/cuda这个镜像,这个镜像只是用来测试,用完也可以删掉,如果没有设置代理,不想花费太多时间拉取镜像,可以不用这个镜像,直接使用tensorflow/tensorflow:latest-gpu-py3这个镜像或者neucrack/tensorflow-gpu-py3-jupyterlab(或 daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab)这个镜像(推荐)(在前者的基础上装了jupyterlab, 而且做了更好的用户权限管理)

  1. lspci | grep -i nvidia
  2. docker run --gpus all --rm nvidia/cuda nvidia-smi

比如:

  1. ~ sudo docker run --gpus all --rm nvidia/cuda nvidia-smi
  2. Tue Mar 10 15:57:12 2020
  3. +-----------------------------------------------------------------------------+
  4. | NVIDIA-SMI 440.64 Driver Version: 440.64 CUDA Version: 10.2 |
  5. |-------------------------------+----------------------+----------------------+
  6. | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
  7. | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
  8. |===============================+======================+======================|
  9. | 0 GeForce GTX 106... Off | 00000000:01:00.0 On | N/A |
  10. | 33% 39C P0 27W / 120W | 310MiB / 6075MiB | 0% Default |
  11. +-------------------------------+----------------------+----------------------+
  12. +-----------------------------------------------------------------------------+
  13. | Processes: GPU Memory |
  14. | GPU PID Type Process name Usage |
  15. |=============================================================================|
  16. +-----------------------------------------------------------------------------+
  1. Wed Mar 11 02:04:26 2020
  2. +-----------------------------------------------------------------------------+
  3. | NVIDIA-SMI 430.40 Driver Version: 430.40 CUDA Version: 10.1 |
  4. |-------------------------------+----------------------+----------------------+
  5. | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
  6. | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
  7. |===============================+======================+======================|
  8. | 0 GeForce GTX 108... Off | 00000000:04:00.0 Off | N/A |
  9. | 35% 41C P5 25W / 250W | 0MiB / 11178MiB | 0% Default |
  10. +-------------------------------+----------------------+----------------------+
  11. | 1 GeForce GTX 108... Off | 00000000:81:00.0 Off | N/A |
  12. | 39% 36C P5 19W / 250W | 0MiB / 11178MiB | 2% Default |
  13. +-------------------------------+----------------------+----------------------+
  14. +-----------------------------------------------------------------------------+
  15. | Processes: GPU Memory |
  16. | GPU PID Type Process name Usage |
  17. |=============================================================================|
  18. | No running processes found |
  19. +-----------------------------------------------------------------------------+

如果驱动版本太低,这里就会提示需要更新驱动

同时注意到cuda版本是10.2,可能tensorflow只支持到10.1,如果是在宿主机上直接装tensorflow就会报错不支持,这里用docker的好处就体现了,不用理会,只需要保证驱动装好就可以了

deepin 出现了错误

  1. docker: Error response from daemon: OCI runtime create failed: container_linux.go:349: starting container process caused "process_linux.go:449: container init caused \"process_linux.go:432: running prestart hook 0 caused \\\"error running hook: exit status 1, stdout: , stderr: nvidia-container-cli: ldcache error: open failed: /sbin/ldconfig.real: no such file or directory\\\\n\\\"\"": unknown.

参考这里的解决方法:https://github.com/NVIDIA/nvidia-docker/issues/614 ,解决:

  1. ln -s /sbin/ldconfig /sbin/ldconfig.real

docker 出现错误:nvidia-container-cli: initialization error: cuda error: unknown error
重启系统得到解决

运行 tensorflow with GPU

拉取镜像,直接拉取

  1. docker pull neucrack/tensorflow-gpu-py3-jupyterlab
  2. # docker pull tensorflow/tensorflow:latest-gpu-py3-jupyter
  3. # docker pull tensorflow/tensorflow
  4. # docker pull tensorflow/tensorflow:latest-gpu

国内可以使用放在 daocloud 的镜像,速度会快一些:

  1. docker pull daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

执行测试语句:

  1. docker run --gpus all -it --rm neucrack/tensorflow-gpu-py3-jupyterlab python -c "import tensorflow as tf; print('-----version:{}, gpu:{}, 1+2={}'.format(tf.__version__, tf.test.is_gpu_available(), tf.add(1, 2).numpy()) );"

如果使用了daocloud,镜像名需要修改成daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

如果没问题,就会出现以下输出(会伴随一大堆调试信息,也可能有警告信息,可以仔细看一下):

  1. -----version:2.1.0, gpu:True, 1+2=3

Jupyterlab

  1. docker run --gpus all --name jupyterlab-gpu -it -p 8889:8889 -e USER_NAME=$USER -e USER_ID=`id -u $USER` -e GROUP_NAME=`id -gn $USER` -e GROUP_ID=`id -g $USER` -v /home/${USER}:/tf neucrack/tensorflow-gpu-py3-jupyterlab

如果使用了daocloud,镜像名需要修改成daocloud.io/neucrack/tensorflow-gpu-py3-jupyterlab

然后就能用浏览器在http://127.0.0.1:8889/地址使用 jupyterlab了,而且目录对应了设置的/home/${USER}目录

jupyterlab
jupyterlab.png

退出直接Ctrl+C即可
这个容器创建后会一直存在于电脑里,可以使用docker ps -a查看到,下次启动使用

  1. docker start jupyterlab_gpu

也可以附着到容器:

  1. docker attatch jupyterlab_gpu

停止容器:

  1. docker stop jupyterlab_gpu

删除容器:

  1. docker rm jupyterlab_gpu

修改 user 和 root 密码, 这样就可以使用 sudo 命令了

  1. docker exec -it jupyterlab_gpu /bin/bash
  2. passwd $USER
  3. passwd root

如果需要每次都重新新建一个容器,用完就删除,只需要在run命令后面添加一个-rm参数即可

其它问题

  • 运行程序时提示: ResourceExhaustedError: OOM when allocating tensor with shape[784,128]

使用nvidia-smi查看内存使用情况

tensorflow会一次性申请(几乎)所有显存:

  1. ~ nvidia-smi
  2. Fri Mar 20 09:18:48 2020
  3. +-----------------------------------------------------------------------------+
  4. | NVIDIA-SMI 435.21 Driver Version: 435.21 CUDA Version: 10.1 |
  5. |-------------------------------+----------------------+----------------------+
  6. | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
  7. | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
  8. |===============================+======================+======================|
  9. | 0 GeForce GTX 108... Off | 00000000:04:00.0 On | N/A |
  10. | 0% 48C P2 60W / 250W | 10726MiB / 11178MiB | 0% Default |
  11. +-------------------------------+----------------------+----------------------+
  12. | 1 GeForce GTX 108... Off | 00000000:81:00.0 Off | N/A |
  13. | 0% 47C P2 58W / 250W | 197MiB / 11178MiB | 0% Default |
  14. +-------------------------------+----------------------+----------------------+
  15. +-----------------------------------------------------------------------------+
  16. | Processes: GPU Memory |
  17. | GPU PID Type Process name Usage |
  18. |=============================================================================|
  19. | 0 3099 G /usr/lib/xorg/Xorg 21MiB |
  20. | 0 40037 C /usr/bin/python3 10693MiB |
  21. | 1 40037 C /usr/bin/python3 185MiB |
  22. +-----------------------------------------------------------------------------+

有可能是使用显存的进程太多了,可以适当退出一些进程;
也有可能申请内存重复了 ,可以尝试重启容器解决

  • 一直运行没有结果

重启docker 容器解决,总之遇事不决,重启解决。。

  • 提示could not retrieve CUDA device count: CUDA_ERROR_NOT_INITIALIZED

可能使用了多进程, 新的进程直接拷贝了当前进程的环境,导致错误, 解决办法是父进程需要引入, 在子进程中需要使用的时候单独import,而不是写到全局, 参考这里: https://abcdabcd987.com/python-multiprocessing/

  • ImportError: libGL.so.1: cannot open shared object file: No such file or directory
  1. apt install libgl1-mesa-glx
  • Failed to get convolution algorithm. This is probably because cuDNN failed to initialize

显卡内存不足,检查是不是被其它程序占用了,如果多张显卡,可以设置环境变量CUDA_VISIBLE_DEVICES来设置将要使用的显卡, 比如这里共有三张显卡, 下标分别是012, 选择第三张卡则设置为2

  1. import os
  2. os.environ["CUDA_VISIBLE_DEVICES"] = '2'

参考

文章有误?有想法想讨论?查看或者发起勘误/讨论 主题
(发起评论需要先登录 github)

/wallpaper/wallhaven-wqe9l6.jpg