ラズベリーパイを使ってみる – データの分散処理(クラスタリング)をする –

Apache Hadoopというソフトで出来るみたいです

準備

JAVAのインストール

sudo apt-get update
sudo apt-get install openjdk-7-jdk

JAVAのバージョンを確認します.バージョンが1.7だとOKです

pi@raspberrypi ~ $ java -version
java version "1.7.0_25"
OpenJDK Runtime Environment (IcedTea 2.3.10) (7u25-2.3.10-1~deb7u1+rpi1)
OpenJDK Zero VM (build 22.0-b10, mixed mode)

hadoop用のユーザーを作成します

sudo addgroup hadoop
sudo adduser --ingroup hadoop hduser
sudo adduser hduser sudo

ダウンロードとインストール

wget http://ftp.tsukuba.wide.ad.jp/software/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
sudo tar xvzf hadoop-1.2.1.tar.gz  -C /usr/local
sudo ln -s hadoop-1.2.1 hadoop
sudo chown -R hadoop:hadoop hadoop

起動できるようにする

JAVAの入っているディレクトリなどを指定しないと起動しないので、指定します

cd
nano .bashrc

.bashrcの最後に、以下のコマンドを追加します。コピペでもたぶんOKです

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-armhf
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin

変更した.bashrcを適用します

source .bashrc

hadoopを起動する

とりあえずバージョンを表示します

pi@raspberrypi ~ $ hadoop version
Hadoop 1.2.1
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152
Compiled by mattf on Mon Jul 22 15:23:09 PDT 2013
From source with checksum 6923c86528809c4e7e6f493b6b413a9a
This command was run using /usr/local/hadoop-1.2.1/hadoop-core-1.2.1.jar

あとはラズベリーパイを起動すると、hadoopが使えるようになっています。
試す方法はネットワーク設定などが必要で難しいため省略します。詳しくは検索してみてください

以下のURLを参考にしました
itToby: Starting Small: Set Up a Hadoop Compute Cluster Using Raspberry Pis

クラスタリングしてもやっぱり遅いなぁ(´・ω・`) という場合は

今の普通のCPUはラズベリーパイの10~20倍は速いので、普通に高速にデータ処理をしたいならPC1台使ったほうがはるかにいいです。ラズベリーパイでも10台買うと1台あたり5000円ぐらいで、さらにOSインストールとネットワークの設定、クラスタリングの設定となると慣れている人でも半日作業だと思います。

それよりはサーバ用PCを1台買ったほうが安くて速いです。だいたい15000円程度でコンパクトなサーバが手にはいります(^O^)
HP ProLiant MicroServer N54L (TurionII NEO N54L 2.2Ghz/2GB/250GB)
HP ProLiant MicroServer N54L (TurionII NEO N54L 2.2Ghz/2GB/250GB)

上のマシンだと小型で場所も取らないのでおすすめです(^O^)
企業の部門用や研究用、また大学の研究室用のサーバにもちょうどいいサイズと値段じゃないでしょうか。

VPSだと企業や研究室の重要な情報を置くと漏洩のリスクが高まりますが、自分でサーバを設置するとセキュリティが高く、研究成果など重要なデータが漏洩する確率が低くなると思います(^O^)

スポンサーリンク

最後まで記事をお読みいただきありがとうございます!

おすすめアイテム!

この記事の内容はラズベリーパイを使うと実際に試すことができます!
記事を読むだけでなく「実際に自分の手を動かして体験してみる」ことがコンピュータに詳しくなる近道です!

2018年01月現在、ラズベリーパイ3が最新モデルです!

下記のスターターキットはラズパイを使うまでに必要なものが全て揃っています!
購入すればすぐにラズベリーパイを楽しむことができます!
Raspberry Pi 3 Starter Kit for JP 日本向け ラズベリーパイ3 スターターキット (化粧箱入り)
Raspberry Pi 3 Starter Kit for JP 日本向け ラズベリーパイ3 スターターキット (化粧箱入り)

ラズベリーパイでアプリ開発をしていて動作が遅いと思った場合、マックブックプロがおすすめです!
ラズベリーパイより高性能でノートパソコン型なので、いつでもどこでもすぐにアプリ開発が可能になります!マックはラズベリーパイで使えるコマンドの多くが使用でき、最先端のアプリ開発がストレスなく行えます!
2000/13.3 MLUQ2J/A シルバー MacBook Pro Retinaディスプレイ
2000/13.3 MLUQ2J/A シルバー MacBook Pro Retinaディスプレイ