NVIDIA系GPUのVMDirectPathIO方法について（ESXi6.5版）

VMwareのESXiにはVMDirectPathIOというデバイスを仮想マシンに直接割り当てる機能があります。
NVIDIAのGPUは基本的に、仮想マシンに搭載することを想定していないようで、
単純にVMDirectPathIOするだけでは認識しません。
ESXiのバージョンやHW環境によって動いたり動かなかったりするので備忘録をまとめました。

環境

1.Intel VT-d対応のCPUおよびMB
2.VMware ESXi 6.5 update1
3.NVIDIA Quadro P1000

前提
ESXiがインストールされていることが前提になります。
インストール自体でこの対応用の特出した手順はありません。

概要手順

A.BIOS・EFIでIntel VT-dを有効にする
※各環境で異なるので各環境に合わせて確認してください。
B.ESXiのVMDirectPathIOを有効にするGPUを選択して、再起動する。
C.仮想マシンの起動モードをEFIにする。
D.仮想マシンにPCIデバイスを追加する。
E.仮想マシンに予約メモリを設定する。
F.仮想マシンに仮想環境回避設定を追加する。
G.仮想マシンに該当するデバイスのドライバーをインストールする。

ECS LIVA MINI PC KITでヘッドレスブートする方法

ECS LIVA MINI PC KITでモニターに接続しない状態だとGrubの仕様により、ブートできません。
以下の手順でGrub2を設定することによりヘッドレスブートができるようになります。


以下環境
OS:CentOS Linux release 7.4.1708 (Core)
インストール設定：最小限のインストール
grub関係パッケージ
　grub2-common-2.02-0.65.el7.centos.2.noarch
　grub2-pc-modules-2.02-0.65.el7.centos.2.noarch
　grub2-tools-2.02-0.65.el7.centos.2.x86_64
　grubby-8.28-23.el7.x86_64
　grub2-tools-minimal-2.02-0.65.el7.centos.2.x86_64
　grub2-tools-extra-2.02-0.65.el7.centos.2.x86_64
　grub2-pc-2.02-0.65.el7.centos.2.x86_64
　grub2-2.02-0.65.el7.centos.2.x86_64
　grub2-efi-x64-2.02-0.65.el7.centos.2.x86_64

概要
1.grubの設定を変更する。
2.grubの設定を有効にする。
3.リブートする

手順

1.grubの設定を変更する。

# vi  /etc/default/grub

記述
赤フォント=追記
青フォント=無効化

GRUB_DEFAULT=0
GRUB_HIDDEN_TIMEOUT=0
GRUB_HIDDEN_TIMEOUT_QUIET=true
GRUB_TERMINAL="serial"
GRUB_SERIAL_COMMAND="serial --speed=9600 --unit=0 --word=8 --parity=no --stop=1"
#GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
#GRUB_DEFAULT=saved
#GRUB_DISABLE_SUBMENU=true
#GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=xxxx/root00 rd.lvm.lv=xxxx/swap00 rhgb quiet"
GRUB_DISABLE_RECOVERY="true"
GRUB_CMDLINE_LINUX_DEFAULT="quiet splash"

2.grubの設定を有効にする。

#  grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

3.リブートする

#reboot

NVIDIA device plugin for Kubernetes

NVIDIA device plugin for Kubernetesは、NVIDIA-Docker環境でKubernetesを利用するためのプラグインです。

2017年11月時点では、アルファリリースでまだ正式なリリースにはなっていません。

システム要件は

NVIDIA-Docker2以降であること

https://github.com/NVIDIA/k8s-device-plugin

NVIDIA-Dockerについて

NVIDIA-Dockerは、NVIDIAが開発しているGPUをコンテナに割り当てる機能をもったDockerのプラグインの一種です。
NVIDIA-Docker単独では動作しません。
2017年11月時点では、最新のバージョンは2です。

NVIDIA-DockerはGithubで公開されています。
https://github.com/NVIDIA/nvidia-docker


システム要件

1. GNU/Linux x86_64 with kernel version > 3.10
2. Docker >= 1.12
3. NVIDIA GPU with Architecture > Fermi (2.1)
4. NVIDIA drivers ~= 361.93 (untested on older versions)

Dockerの要件
・docker1.12以降のdocker-ceの安定板のリリース
・エッジリリースは対応していません
・Canonicalが提供するパッケージ： docker.io 
・Red Hatが提供するパッケージ： docker 

2017年11月時点では以下のOS・環境については対応していません。
・macOS環境上のコンテナにGPUの割当はできません。
・Windows環境上のコンテナにGPUの割当はできません。
・Tegra環境でのサポートはありません。

対応するプラットフォーム
・Ubuntu 14.04 LTS
・Ubuntu 16.04 LTS
・Ubuntu 17.04
・CentOS 6
・CentOS 7
https://github.com/NVIDIA/nvidia-docker/wiki/Docker-Hub

管理系プロダクト対応
・Docker Swarm　　未対応Mobyプロジェクトで開発中
・Docker Compose　対応
・Kubernetes　　　 未対応アルファサポートのため正式なサポートは未対応

NVIDIA GPU CLOUDの登録方法

NVIDIA GPU CLOUDというDeep Learning向けの開発を目的としたフレームワークをコンテナにしたDocker Imageを実行するためのリポジトリが公開されました。
2017年11月時点では、無料でアカウントを作成して、Docker Imageを入手できます。

1.登録フォームに登録する。
2.登録メールの「SIGN IN TO NVIDIA GPU CLOUD」のリンクをクリックする。
3.「NVIDIA GPU CLOUD」ログイン画面にログインする。
4.「NVIDIA GPU CLOUD」の規約にアクセプトする。

1.登録フォームに登録する

以下のURLからアクセスします。
https://ngc.nvidia.com/signup/register

登録フォームに氏名、会社名、メールアドレス、役職、業界、国を記載します。
NVIDIAの規約の承諾（必須）と、NVIDIAの情報の扱い、メールアドレスに情報を送信することの項目にチェックを入れて、「Sign UP」ボタンをクリックします。

2.登録メールの「SIGN IN TO NVIDIA GPU CLOUD」のリンクをクリックする。
しばらくすると登録メールが送信されてきます。
※NVIDIAからのメール受信を許可しておく必要があります。

3.「NVIDIA GPU CLOUD」ログイン画面にログインする。

「sign in」のリンクをクリックする。

「NVIDIA GPU CLOUD」の規約に問題がなければ「Accept」のボタンをクリックします。

「Get Started」のボタンをクリックします。

「NVIDIA GPU CLOUD」のRegistry画面が表示されます。

ここから、NVIDIAのDocker Imageを取得することができます。