日々の記録

キーワードサーチ

▼キーワード検索

サイド自由欄

< 新しい記事

新着記事一覧(全513件)

過去の記事 >

2023.05.27

jupyter notebookを使ってPCクラスターでdeep learning

カテゴリ： linux

deep learningの実行は、GPUを搭載したスタンドアローンのUbuntuのPCで、jupyter notebookを使って行っていたが、GPUを搭載したPCクラスターで行えるようにした。

今まで、PCクラスターでは、コマンドラインしか使えないと思っていたし、jupyter notebookでの計算に慣れていたので、PCクラスターでdeep learning を走らせることは、敷居が高かった。
jupyter notebookだと、firefox等のウェブクライアント上で、インタラクティブにdeep learningのコマンドを実行できるので楽なのだ。

最近、ssh -Xで、計算ノードにログインすれば、jupyter notebookを使えるのではないかと思いつき、やってみた。

以下、centos7のGPU搭載のPCクラスターで、jupyter notebookを使ってdeep learningが実行できるようにした手順を記録しておく。

まず、ログインノードにxrdp のインストール。rootとして実行。

# yum install xrdp

# systemctl start xrdp

# systemctl enable xrdp

ただ、xrdpのバージョンが良くなかったのか、ログインに失敗する。

結局、yumでインストールされるものとは違うバージョンのrpmファイルをダウンロードし、インストールした。

# yum install xrdp-0.9.22.1-2.el7.x86_64.rpm

これで、remote desktopで、ログインノードにログインできた。

次に各計算ノードでの作業。rootとして実行。

GPUノードなので、nvidiaのドライバーとcuda11.8はインストール済み。

cudnn-local-repo-rhel7-8.9.1.23-1.0-1.x86_64.rpm

をダウンロードした。

# rpm -ivh cudnn-local-repo-rhel7-8.9.1.23-1.0-1.x86_64.rpm

でインストール終了かと思ったが、うまく動かない。

nvidiaの説明（https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html）を読むと、以下のコマンドが必要。
# yum install libcudnn8-devel-8.9.1.23-1.cuda11.8

ここまでできれば、python3を立ち上げて

>>> import tensorflow as tt

>>> tf.test.is_gpu_available()

を実行すれば、GPUが認識されるはず。

この後は、pipを用いての、jupyter notebook等のインストール。

ここからは、一般ユーザーとして実行。多分ログインノードで一度実行すればいいと思う。

# pip install jupyter

# pip install tensorflow

# pip install pillow

最後のpillowは、deep learning の実行中にエラーが出たので、インストールした。

以下はjupyter notebookの立ち上げ。

まず、remote destktopで、ログインノードにログイン。

terminalを開いたのち、

# ssh node01 -X

で、node01にログイン。そこで、jyuputer notebook の起動。

# jupyter-notebook

これで、centosではデフォルトでfirefoxが起動すると思う。

ただし、ほかのノードからも同時にjupyter notebookを起動するのは、firefoxではできないようだ。

google-chromeを各計算ノードにインストールして、デフォルトのwebブラウザと設定しておくと、同時起動が可能だった。

追記：chatGPTに質問したら、最後の部分について、いい方法を教えてくれた。
計算ノードに、-X オプションなしでログイン。
# ssh node01
jupyter notebookの立ち上げ。

# jupyter-notebook --no-browser --port=8888
これで、jupyter notebookは立ち上がるが、webブラウザーは起動しない。
次に、ログインノードで、sshトンネルを使う。
# ssh -L 8889:localhost:8888 node01

最後にログインノードから、以下にアクセス。
http://localhost:8889

ポート8889の番号を、計算ノードごとに変えれば、複数のノードで同時にjupyter notebookを使える。
この方法だと、firefoxも利用可能だし、タブごとに別々の計算ノードにアクセスできる。

お気に入りの記事を「いいね！」で応援しよう