geek-peachの日記

geekを目指してpeachが頑張るブログ。実行したコマンドやデータ分析についてメモっていく

Ubuntu18.0へPyTorchのインストール

データ分析

f:id:geek-peach:20180613011631j:plain

今日はPyTorchをインストール。

公式ページにはPyTorch（のみ）をpipやcondaでインストールする方法が

示されていたが、その前にCudaやCuDNNを先にインストールする必要がある。

私の環境は

OS：Ubuntu18.04

GPU：Geforce　GTX　1050

 

1.CUDA、CuDNNのインストール

 

$ sudo apt install nvidia-cuda-toolkit nvidia-driver-390

$ sudo reboot

$ echo "deb https://developer.download.nvidia.com/compute/machine-learning/repos/ubuntu1604/x86_64 /" | sudo tee /etc/apt/sources.list.d/nvidia-ml.list

$ sudo apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1710/x86_64/7fa2af80.pub

$ sudo apt update

$ sudo apt install libcudnn7-dev

  

2.PyTorchをインストール

pip3 install http://download.pytorch.org/whl/cu91/torch-0.4.0-cp36-cp36m-linux_x86_64.whl
pip3 install torchvision

 

以上。PyTorchの方はsudoしてないけど、大丈夫だろうか。。

動作確認したらまた、アップします。

RstudioServerのインストール

データ分析

f:id:geek-peach:20180605010444j:plainCentOSの時はすんなりできたRstudioServerのインストールだが、

Ubuntuではちょっと引っかかってしまった。。

そのせいで少しやる気が起きず、ブログも放置してしまった。。。

 

GWの頃やった時は、RsutudioServerが使うOpenSSLが古すぎるみたいなエラーが出て上手くいかなかった。。

今日は公式の通りやったら上手くいった。

RstudioServer側で修正したのかな？

まずはRのインストール。ここを参照

UBUNTUPACKAGES FOR R

次にRstudioServerをインストール。

www.rstudio.com

インストールしたら、即起動する様になっているので、

http://:8787/

にブラウザでアクセスすればOK！

jupyter notebookをインストール！

データ分析

f:id:geek-peach:20180507005102j:plain

jupyter notebookをubuntu18.04にインストールします！

pythonはもともと3.6.5が入ってました。

$ python3 -V

Python 3.6.5

 aptでpipをインストール

$ sudo apt install python3-pip

$ pip3 -V

pip 9.0.1 from /usr/lib/python3/dist-packages (python 3.6)

 pipでnumpy,scipy,matplotlib,pandas,seaborn,scikit-learn,notebookをインストール。

今回は以下の様に２回にわけて実行したが、まとめてやっても大丈夫だと思います。。

$ sudo pip3 insatall numpy scipy matplotlib

$ sudo pip3 install pandas seaborn scikit-learn notebook

 外部からjupyterに接続できる様に設定。

$ jupyter notebook --generate-config

Writing default config to: /home/hoge/.jupyter/jupyter_notebook_config.py

 上記のコマンドで/home/hoge/.jupyter/jupyter_notebook_config.pyという設定ファイルが作られます。

#c.NotebookApp.ip = 'localhost' の部分を以下に変更

c.NotebookApp.ip = '0.0.0.0'

以下のコマンドで起動

$ jupyter notebook

 私はubuntuをサーバ的に使ってMACからブラウザで接続する様な形で

使っているので、<ubuntuのIP>:8888でアクセスするとJupyterに繋がります。

今後は使っていく上で便利な設定などあれば、投稿しようと思います。

Ubuntu17.10から18.04へのアップグレード

Ubuntu

f:id:geek-peach:20170215161950j:plain

Ubuntuが17.10だったので、18.04にアップグレードしました。

やり方は以下の通り。（コマンド一発ですが。。）

$ sudo do-release-upgrade

 確認

$ uname -a

Linux hostname 4.15.0-20-generic #21-Ubuntu SMP Tue Apr 24 06:16:15 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux

$ cat /etc/os-release

NAME="Ubuntu"

VERSION="18.04 LTS (Bionic Beaver)"

ID=ubuntu

ID_LIKE=debian

PRETTY_NAME="Ubuntu 18.04 LTS"

VERSION_ID="18.04"

HOME_URL="https://www.ubuntu.com/"

SUPPORT_URL="https://help.ubuntu.com/"

BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"

PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"

VERSION_CODENAME=bionic

UBUNTU_CODENAME=bionic

 ちゃんとアップグレードできました。

SSDとHDDの性能測定

自作PC

f:id:geek-peach:20170923171719j:plain

hdparmとddコマンドで読み込み速度、書き込み速度を測定します。

環境はubuntu17.10で、

SSDはWD 内蔵SSD M.2-2280  512GB WD Black NVMe になります。

HDDはちょっと古いので割愛。。Samsungの2TBのやつです。

 

では、早速SSDの読み込み速度

$ for i in `seq 1 5`; do sudo hdparm -t /dev/mapper/ubuntu--vg-root; done

/dev/mapper/ubuntu--vg-root:

Timing buffered disk reads: 2450 MB in  3.00 seconds = 816.14 MB/sec

/dev/mapper/ubuntu--vg-root:

Timing buffered disk reads: 2428 MB in  3.00 seconds = 809.09 MB/sec

/dev/mapper/ubuntu--vg-root:

Timing buffered disk reads: 2432 MB in  3.00 seconds = 810.58 MB/sec

/dev/mapper/ubuntu--vg-root:

Timing buffered disk reads: 2432 MB in  3.00 seconds = 809.98 MB/sec

/dev/mapper/ubuntu--vg-root:

Timing buffered disk reads: 2434 MB in  3.00 seconds = 811.26 MB/sec

 大体、810MB/sですね。製品のHPでは、2GB/sなので。。。測り方が悪い？

 

次に、SSDの書き込み速度

$ for i in `seq 1 5`; do dd bs=32M count=500 if=/dev/zero of=/tmp/test.${i}; done

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 45.2498 s, 371 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 45.3662 s, 370 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 45.3471 s, 370 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 45.4046 s, 370 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 45.4359 s, 369 MB/s

 大体370MB/sですね。

 

さて、HDDの読み込み速度

$ for i in `seq 1 5`; do sudo hdparm -t /dev/hdd2TB/data_strg ; done

 

/dev/hdd2TB/data_strg:

Timing buffered disk reads: 390 MB in  3.00 seconds = 130.00 MB/sec 

/dev/hdd2TB/data_strg:

Timing buffered disk reads: 394 MB in  3.01 seconds = 130.69 MB/sec

/dev/hdd2TB/data_strg:

Timing buffered disk reads: 394 MB in  3.01 seconds = 130.69 MB/sec

/dev/hdd2TB/data_strg:

Timing buffered disk reads: 354 MB in  3.01 seconds = 117.73 MB/sec

/dev/hdd2TB/data_strg:

Timing buffered disk reads: 394 MB in  3.01 seconds = 130.75 MB/sec

 大体130MB/s。

 

最後は、HDDの書き込み速度

 $ for i in `seq 1 5`; do dd bs=32M count=500 if=/dev/zero of=/data/test.${i}; done

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 127.894 s, 131 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 123.914 s, 135 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 131.73 s, 127 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 135.159 s, 124 MB/s

500+0 レコード入力

500+0 レコード出力

16777216000 bytes (17 GB, 16 GiB) copied, 128.264 s, 131 MB/s 

大体130MB/sですね。

あれ、HDDの書き込みと読み込みが同じだ。。なんか間違えてますかね？。。

 

SSD、HDD共に数値の信頼性が。。

まあ、値がこれ以上下がらないかというかチェックするために使いますかね。。

HDDのパーティション削除＋lvmの作成

自作PC

f:id:geek-peach:20180501204333j:plain

今日は昔使っていたHDDを新しく組んだPCに追加します。

私の環境はubuntu17.10（今度OSのバージョンアップもやりますかね。）

 

まずは昔のパーティションを削除の、前にパーティションの確認

$ sudo fdisk /dev/sda

コマンド (m でヘルプ): p

Disk /dev/sda: 1.8 TiB, 2000398934016 bytes, 3907029168 sectors

Units: sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disklabel type: dos

Disk identifier: 0x8b6c2ac2

 

デバイス   起動     Start   最後から     セクタ   Size Id タイプ

/dev/sda1               63  209728574  209728512   100G  7 HPFS/NTFS/exFAT

/dev/sda2        209728575 1233727739 1023999165 488.3G  7 HPFS/NTFS/exFAT

/dev/sda3       1233727740 2257726904 1023999165 488.3G  7 HPFS/NTFS/exFAT

/dev/sda4       2257726905 2467455416  209728512   100G  7 HPFS/NTFS/exFAT

 

 パーティションの削除

コマンド (m でヘルプ): d

パーティション番号 (1-4, default 4): 1

#1〜4まで削除

 

消えてるか確認

コマンド (m でヘルプ): p

Disk /dev/sda: 1.8 TiB, 2000398934016 bytes, 3907029168 sectors

Units: sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disklabel type: dos

Disk identifier: 0x8b6c2ac2

 

パーティション情報の変更を保存して終了 

コマンド (m でヘルプ): w

The partition table has been altered.

Calling ioctl() to re-read partition table.

Syncing disks.

 

５年前の記事を参考にlvmを作成（笑）

geek-paech.hatenablog.com

たまには自分の記事も役に立ちますねw

次回はHDDとSSDのパフォーマンス比較でもやってみましょう。

 

追記）

/etc/fstabに以下を追加してOS起動時に自動的にマウントする様に設定

/dev/mapper/hdd2TB-data_strg /data ext4 errors=remount-ro 0 1

 

 

久々のPC自作！

自作PC

f:id:geek-peach:20180501010355j:plain

久しぶりになってしまった。。

PCの自作もめっちゃ久々。。

Ryzenを使ったメモリの多いマシンが欲しかったので自作しました！

 

使ったパーツは以下の通り。（箱、電源は前から持ってたやつを流用）

 

マザーボード：PRIME B350-PLUS（10,650円）

CPU：Ryzen7　1700（27,980円）

メモリ：Crucial [Micron製] DDR4 デスク用メモリー 16GB x 2（36,480＋2,000円）

＃メモリはこのキットを２つ使って64GBにしました！（計76,960円）

SSD：WD 内蔵SSD M.2-2280  512GB WD Black NVMe（16,480円）

グラボ：玄人志向 ビデオカードGEFORCE GTX 1050搭載 GF-GTX1050-2GB/OC/SF（15,480円）

＃値段は税抜きです。

電源：玄人志向 80PLUS STANDARD取得 ATX電源 500W

 

今回買ったものの合計は税込で160,714円！メモリが高い。。

カッコ内の値段はアキバのツクモで買った時の値段で、

物によってはamazonより安くて、アキバやるじゃん！ってなりました笑。

 

OSはUbuntuにしてます。

組んで終わりってことはないので、これからデータ分析とかに使っていきたいと思います！