クラスター

データエンジニアリングクラスターの生成と管理は、Cloudera Altusコンソールもしくはコマンドラインインターフェースから行えます。

Data Engineeringサービスは、単一ユーザー向けの一時的なクラスターをプロビジョニングします。AltusがAWSアカウント内にクラスターを作成すると、そのクラスターにはデフォルトでCloudera Managerのノードとマスターロールのノード、そして複数のワーカーノードが含まれます。Altusは、クラスターを管理するためのCloudera Managerのインスタンスも作成します。Cloudera Managerのインスタンスを利用することでクラスターの内部を見ることができるようになりますが、Cloudera Managerそのものはクラスターの一部ではありません。Cloudera Managerのインスタンスをクラスターへのゲートウェイノードとして使うことはできません。

Cloudera Managerはマスターノードに対し、ゲートウェイノードの機能を与えるロールを設定します。マスターノードは、リソースマネージャー、Hiveサーバー及びメタストア、Sparkサービスを持ち、さらにはマスターノードを基本的にはゲートウェイノードとして利用できるようにするその他のロールやクライアント設定を持ちます。マスターノードはAltusクラスターへのゲートウェイノードとして利用し、HiveやSparkのシェルコマンド、あるいはHadoopのコマンドを実行することができます。

クラスター内のワーカーノードに加えて、ジョブの実行パフォーマンスを改善するためにコンピュートワーカーノードを追加することもできます。詳しい情報についてはワーカーノードとコンピュートワーカーノードを参照してください。

Altusは、クラスター内の各ノードにタグを付けます。ユーザーは、このタグでノードを識別するとともに、ノードがどのクラスターに属しているのかを見分けることができます。タグに関する詳しい情報についてはAltusタグを参照してください。

Altusは、Cloudera Managerのインスタンスに接続するためのリードオンリーのユーザーアカウントを作成します。Altusコンソールでクラスターを作成する際には、このリードオンリーのユーザーアカウントのユーザー名とパスワードを指定してください。そのユーザー名とパスワードで、Cloudera Managerにログインできるようになります。

CLIを使ってクラスターを作成し、ユーザー名とパスワードを指定しなければ、Data Engineeringサービスはゲストユーザーアカウントを作成し、そのパスワードをランダムに生成します。Cloudera Managerには、このゲストユーザーの名前とパスワードを使ってログインできます。CLIで作成されたゲストユーザーアカウントに関する詳しい情報については、Cloudera Managerへの接続を参照してください。

クラスターを作成する際には、そのクラスターで動作するサービスを指定します。クラスターで実行する計画のジョブの種類に応じて、適切なサービスを選択してください。

以下のリストは、Altusのクラスターで利用できるサービスタイプと、それぞれのサービスで実行できるジョブタイプです。
サービスタイプ ジョブタイプ
Hive Hive
Hive on Spark Hive
Spark 2.x Spark
Spark 1.6 Spark
MapReduce2 MapReduce2

ワーカーノードとコンピュートワーカーノード

Altusクラスターには、以下の種類のワーカーノードがあります。
ワーカーノード
ワーカーノードは、データストレージ及び演算プロセスをどちらも実行します。Altusには最低でも3つのワーカーノードが必要です。
コンピュートワーカーノード
コンピュートワーカーノードは、Altusクラスターのノードの種類の一つで、演算プロセスだけを実行します。コンピュートワーカーノードは、データストレージプロセスを動作させません。

コンピュートワーカーノードは、Altusに必須のノードではありません。クラスターにコンピュートワーカーノードを設定すれば、演算処理能力を増強し、クラスターのパフォーマンスを向上させることができます。

コンピュートワーカーノードは、ステートレスです。したがって、コンピュートワーカーノードを終了や再起動してもジョブの実行に問題は生じません。

クラスターには、ワーカーとコンピュートワーカーをあわせて合計50ノードを持たせることができます。ユーザーは、自分のワークロードで最高のパフォーマンスが発揮できるようなワーカーとコンピュートワーカーノードの組み合わせを指定できます。ワーカーノードとコンピュートワーカーノードは、同じインスタンスタイプを使用します。

コンピュートワーカーノードをクラスターに追加すると、Altusはクラスター内の終了した、あるいは障害を起こしたワーカーやコンピュートワーカーのインスタンスを置き換えるために、新しいインスタンスのプロビジョニングを管理するようになります。クラスターインスタンスの再プロビジョニングに関する詳しい情報については、インスタンスの再プロビジョニングを参照してください。

クラスター内のすべてのコンピュートワーカーノードは、同じインスタンスの価格が使用されます。コンピュートワーカーノードは、オンデマンドインスタンスを使うように設定することも、スポットインスタンスを使うように設定することもできます。コンピュートワーカーノードでのスポットインスタンスの使用については、スポットインスタンスを参照してください。

クラスターのステータス

クラスターのステータスは、それが生成されてから終了されるまでの間、時間とともに変わっていきます。

データエンジニアリングクラスターには、以下のようなステータスがあります。
  • Creating クラスターは作成中です。
  • Created クラスターの作成に成功した状態です。
  • Failed クラスターは、作成中もしくは終了時に障害が発生したかもしれない状態です。障害のメッセージを調べて詳しい情報を取得してください。
  • Terminating クラスターは終了処理中です。

    終了したクラスターは、Clustersページのクラスターのリストから削除されます。この状態のクラスターは、list-clustersコマンドで返されるクラスターのリストにも含まれません。