Azure HDInsight Spark を試してみた

JMT西森です。

題名の通り、Azure HDInsight Sparkを試してみました。
なお 2015/10/09 時点で本機能はプレビュー版となっています。

 

【参考にしたサイト】
Azure ドキュメントサイト ⇒ こちら

【作ってみる】
Azureポータルから作成可能です。試しに最小構成で作ってみましょう。
…と、そういえばStorageアカウントが必要でした。
事前に作成してもいいのですが、今回はあえて一緒に作ってしまいましょう。

Azureポータルから「HDINSIGHT」⇒「HDINSIGHTクラスターの作成」を選びます。

20151009_001

リストから「カスタム作成」を選択すると、色々と情報入力を求められます。
<クラスターの詳細>

20151009_002

クラスター名 knspark001
サブスクリプション名 XXX
クラスターの種類 Spark
オペレーティングシステム Windows Server 2012 R2 DataCenter
HDInsightのバージョン 3.2 (HDP 2.2、Hadoop 2.6、Spark 1.3.1)

<クラスターの構成>

20151009_003

データノード 1
リージョン 東アジア
ヘッドノードのサイズ A3 (4コア、7GBメモリ)
データノードのサイズ A3 (4コア、7GBメモリ)

<クラスターユーザーの作成>

20151009_004

HTTPユーザー名 XXX
HTTPパスワード、パスワードの確認 YYY
クラスターのリモートデスクトップの有効化 チェックしない
Hive:Oozieメタストアの入力 チェックしない

<ストレージアカウント>

20151009_005

ストレージアカウント 新しいストレージアカウントを作成する
アカウント名 XXXXX
既定のコンテナー Spark001Con
追加のストレージアカウント 0

<スクリプトアクション>

20151009_006

今回は特に何もしないので、そのままです。

最後に右下のチェックをクリックすれば、作成完了です!

20151009_007

今回はとりあえずここまで。

次回はどのような環境になっているのかの確認と、

サンプルデータの参照を行ってみたいと思います。

LINEで送る