ラズベリーパイを使ってみる – データの分散処理(クラスタリング)をする –

Apache Hadoopというソフトで出来るみたいです

準備

JAVAのインストール

sudo apt-get update
sudo apt-get install openjdk-7-jdk

JAVAのバージョンを確認します.バージョンが1.7だとOKです

pi@raspberrypi ~ $ java -version
java version "1.7.0_25"
OpenJDK Runtime Environment (IcedTea 2.3.10) (7u25-2.3.10-1~deb7u1+rpi1)
OpenJDK Zero VM (build 22.0-b10, mixed mode)

hadoop用のユーザーを作成します

sudo addgroup hadoop
sudo adduser --ingroup hadoop hduser
sudo adduser hduser sudo

ダウンロードとインストール

wget http://ftp.tsukuba.wide.ad.jp/software/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
sudo tar xvzf hadoop-1.2.1.tar.gz  -C /usr/local
sudo ln -s hadoop-1.2.1 hadoop
sudo chown -R hadoop:hadoop hadoop

起動できるようにする

JAVAの入っているディレクトリなどを指定しないと起動しないので、指定します

cd
nano .bashrc

.bashrcの最後に、以下のコマンドを追加します。コピペでもたぶんOKです

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-armhf
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin

変更した.bashrcを適用します

source .bashrc

hadoopを起動する

とりあえずバージョンを表示します

pi@raspberrypi ~ $ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/local/hadoop-1.2.1/hadoop-core-1.2.1.jar

あとはラズベリーパイを起動すると、hadoopが使えるようになっています。
試す方法はネットワーク設定などが必要で難しいため省略します。詳しくは検索してみてください

以下のURLを参考にしました
itToby: Starting Small: Set Up a Hadoop Compute Cluster Using Raspberry Pis

クラスタリングしてもやっぱり遅いなぁ(´・ω・`) という場合は

今の普通のCPUはラズベリーパイの10~20倍は速いので、普通に高速にデータ処理をしたいならPC1台使ったほうがはるかにいいです。ラズベリーパイでも10台買うと1台あたり5000円ぐらいで、さらにOSインストールとネットワークの設定、クラスタリングの設定となると慣れている人でも半日作業だと思います。

それよりはサーバ用PCを1台買ったほうが安くて速いです。だいたい15000円程度でコンパクトなサーバが手にはいります(^O^)
HP ProLiant MicroServer N54L (TurionII NEO N54L 2.2Ghz/2GB/250GB)
HP ProLiant MicroServer N54L (TurionII NEO N54L 2.2Ghz/2GB/250GB)

上のマシンだと小型で場所も取らないのでおすすめです(^O^)
企業の部門用や研究用、また大学の研究室用のサーバにもちょうどいいサイズと値段じゃないでしょうか。

VPSだと企業や研究室の重要な情報を置くと漏洩のリスクが高まりますが、自分でサーバを設置するとセキュリティが高く、研究成果など重要なデータが漏洩する確率が低くなると思います(^O^)

おすすめアイテム!

この記事の内容はラズベリーパイを使うと実際に試すことができます!
記事を読むだけでなく「実際に自分の手を動かして体験してみる」ことがコンピュータに詳しくなる近道です!

2018年07月現在、ラズベリーパイ3 モデルBプラスが日本で手に入るコスパが良い最新モデルです!
Raspberry Pi 3 Model B+ element14 スターターセット BASIC ラズベリーパイ3 モデルBプラスではUSB機器からラズベリーパイのOSを起動することができるようになりました。 下記のようなUSBポータブルHDDを使うと、ラズベリーパイで大容量の音楽プレイヤができます! マイクロSDで同じ容量のものを買うより安いのでおすすめです! https://www.amazon.co.jp/dp/B06X3VSKJ7/ref=as_li_ss_tl?_encoding=UTF8&psc=1&linkCode=ll1&tag=aza2limemo-22&linkId=25f18e2118942a9614514a6c0b0e535c

ラズベリーパイで最先端のアプリ開発やAI研究をしているけど動作が遅いなぁ…という場合は

ラズベリーパイは安価なPCとしては高速ですが、通常のデスクトップPCと比べると性能は劣ります。

ラズベリーパイで最先端のアプリ開発やAI研究をしたいと思ったなら、Ubuntuが動作するデスクトップパソコンがおすすめです! Ubuntuはラズベリーパイとほぼ同じように操作できます!
UbuntuがインストールされているPCはCPUが高速でメモリが多く、ストレージもSSDなのでストレスなくアプリ開発を行うことができます!
グラフィックボードも搭載されており、膨大な計算を必要とするAI研究も可能です!

ラズベリーパイでは数日かかるような膨大な計算も、短時間で終えることができます!

パワフルなPCを使用すると素早く最先端のアプリ開発が可能です。これはIT業界を志望する場合の強い武器になります!
Dell デスクトップパソコン XPSタワー Core i7プレミアムモデル 18Q46/Windows10/16GB/256GB SSD+2TB HDD/GTX1050Ti
スポンサーリンク

最後まで記事をお読みいただきありがとうございます!