コンソールでのクラスターの作成と作業

クラスターは、Cloudera Altusコンソールで作成できます。また、AltusによってAWSアカウント内に作成されたすべてのクラスターの状態と設定を表示させることもできます。

コンソールでのクラスターの作成

CDHクラスターをコンソールで作成するには、以下のようにします。
  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Clustersをクリックします。

    デフォルトでは、ClustersページにはAWSアカウント内のすべてのデータエンジニアリングクラスターのリストが表示されます。このリストは、Environment、ステータス、サービスタイプによってフィルタリングできます。

  3. Create Clusterをクリックします。
  4. General Informationのセクションで以下の情報を指定します。
    プロパティ 説明
    Cluster Name 作成するクラスターを識別するための名前。クラスター名は任意の長さの半角英数字からなる文字列です。クラスター名にはダッシュ(-)及びアンダースコア(_)を含めることができます。空白を含めることはできません。
    Service Type

    クラスターにインストールされるサービスを指定します。クラスターで実行する計画のジョブの種類に基づいてサービスを選択してください。選択できるサービスタイプは以下のとおりです。

    • Hive
    • Hive on Spark
    • Spark 2.x
    • Spark 1.6

      Spark 1.6を選択するのは、実行するアプリケーションに必要なSparkがSpark 1.6である場合に限ってください。Altusでは、CDH 5.11上でのみSpark 1.6がサポートされています。

    • MapReduce2
    CDH Version クラスターが使用するCDHのバージョンです。
    以下のCDHのバージョンから選択できます。
    • CDH 5.12
    • CDH 5.11
    Environment

    クラスターが使用するAWSのリソースを記述するAltus Environment の名前です。Altus Environment は、クラスターのネットワーク及びインスタンスの設定を指定します。

    どのAltus Environment を選択すればいいのか分からない場合は、Altusの管理者に確認してください。
  5. Node Configurationセクションでは、作成するワーカーの数と、クラスターが使用するインスタンスタイプを指定してください。
    プロパティ 説明
    Worker クラスターのワーカーノードは、データストレージとコンピュート処理のプロセスを実行できます。ワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
    ワーカーノードについては、以下のプロパティを設定できます。
    Instance Type
    サポートされているインスタンスタイプのリストから、使用するインスタンスタイプを選択してください。

    デフォルト: m4.xlarge (16 GB 4vCPU)

    Number of Nodes
    クラスターに持たせるワーカーノード数を選択してください。クラスターには最小で3つのワーカーノードが必要です。

    デフォルト: 5

    EBS Storage
    EBSボリュームの以下のプロパティを設定してください。
    • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
    • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
    • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
    ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
    Purchasing Option
    デフォルトでは、ワーカーノードにはオンデマンドインスタンスが使われます。ワーカーノードでスポットインスタンスを使うように設定することはできません。
    Compute Worker ワーカーノードに加えて、Altusのクラスターにはコンピュートワーカーノードを持たせることができます。コンピュートワーカーノードは、コンピュート処理のプロセスだけを実行します。コンピュートワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
    コンピュートワーカーノードについては、以下のプロパティを設定できます。
    Instance Type
    コンピュートワーカーノードのインスタンスタイプを直接変更することはできません。
    Number of Nodes
    クラスターに持たせるコンピュートワーカーノード数を選択してください。

    デフォルト: 0

    EBS Storage
    EBSボリュームの以下のプロパティを設定してください。
    • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
    • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
    • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
    ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
    Purchasing Option
    オンデマンドインスタンスを使用するか、スポットインスタンスを使用するかを選択します。スポットインスタンスを使用する場合は、スポット価格を指定しなければなりません。

    コンピュートワーカーノードでのスポットインスタンスの利用に関する詳しい情報については、スポットインスタンスを参照してください。

    Master クラスターのマスターノードはAltusが設定します。マスターノードの設定をユーザーが変更することはできません。
    デフォルトでは、Altusはマスターノードを以下のように設定します。
    Instance Type
    m4.xlarge (16 GB 4vCPU)
    Number of Nodes
    1
    EBS Storage
    Altusは、サービスタイプとインスタンスタイプに応じてマスターノードを適切に設定します。
    Purchasing Option
    オンデマンドインスタンス
    Cloudera Manager Cloudera ManagerノードはAltusが設定します。Cloudera Managerノードの設定をユーザーが変更することはできません。
    デフォルトでは、AltusはCloudera Manager ノードを以下のように設定します。
    Instance Type
    c4.2xlarge (15 GB 8vCPU)
    Number of Nodes
    1
    EBS Storage
    Altusは、サービスタイプとインスタンスタイプに応じてCloudera Managerノードを適切に設定します。
    Purchasing Option
    オンデマンドインスタンス
  6. Credentialsセクションでは、ユーザーがCloudera Managerにログインする際のクレデンシャルを指定します。
    プロパティ 説明
    SSH Private Key

    作成するクラスターのインスタンスにData Engineeringサービスがアクセスし、設定する際に使用するプライベートキーです。Data Engineeringサービスは、SSHでクラスターにアクセスします。このSSHのプライベートキーは、Altus Environment で指定されているリージョンに登録されていなければなりません。

    File Uploadを選択してキーを含むファイルをアップロードするか、Direct Inputを選択してキーのコードを完全に入力してください。
    Cloudera Manager Username Cloudera Managerで使用するゲストアカウントのユーザー名です。このゲストアカウントは、クラスターを管理するCloudera Managerにアクセスするためのリードオンリーのユーザーアカウントとして作成されます。
    Cloudera Manager Password Cloudera Managerのゲストアカウントのパスワードです。
    Confirm Cloudera Manager Password Cloudera Managerのパスワードの確認です。入力されたパスワードは完全に一致していなければなりません。
  7. Advanced Settingsセクションでは、以下のオプションのプロパティを設定できます。
    プロパティ 説明
    Instance bootstrap script

    クラスターのすべてのインスタンスの起動時に、サービスの設定や起動に先立って実行されるブートストラップスクリプトです。このスクリプトは、追加のOSパッケージやアプリケーションの依存関係のインストールに利用できます。

    ブートストラップスクリプトは、クラスターの設定には使用しないでください。

    File Uploadを選択してスクリプトファイルをアップロードするか、Direct Inputを選択してスクリプトを画面上で入力してください。

    ブートストラップスクリプトには、BashのシェルスクリプトやPythonのスクリプトなど、実行可能な任意のフォーマットが利用できます。

  8. 必須のフィールドがすべて記入されていることを確認して、Create Clusterをクリックしてください。

    設定した内容に従い、Data EngineeringサービスがCDHクラスターを作成してくれます。Clusters ページでは、新しいクラスターがクラスターのリストの最上部に表示されます。

クラスターの状態と情報の表示

コンソールでData Engineeringクラスターの情報を表示させるには、以下のようにします。

  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Clustersをクリックします。

    Clustersページには、デフォルトでAWSアカウント内の全Data Engineeringクラスターのリストが表示されます。このリストは、Environment、ステータス、サービスタイプでフィルタリングできます。

    Clustersのリストには、以下の情報が表示されます。
    • クラスター名
    • ステータス

      クラスターの様々なステータスに関する詳しい情報についてはクラスターのステータスを参照してください。

    • サービスタイプ
    • ワーカーノード数
    • Altusでクラスターが作成された日時
    • クラスターのインスタンスタイプ
    • クラスターで動作しているCDHのバージョン
  3. クラスターのActionsボタンをクリックすれば、以下のタスクを実行できます。
    • Clone Cluster 表示されているクラスターと同じタイプや特性を持つクラスターを作成するには、Clone Clusterアクションを選択します。クラスターの作成ページでは、複製しようとしているクラスターと同じプロパティを持つクラスターを作成でき、そのクラスターを実際に作成する前にプロパティを変更したり追加したりすることができます。クラスターの設定に関する詳しい情報については、コンソールでのクラスターの作成を参照してください。
    • Delete Cluster クラスターを終了させるには、終了させたいクラスターでDelete Clusterアクションを選択してください。
  4. クラスターの詳細を表示させるには、そのクラスターの名前をクリックしてください。

    Cluster Details ページには、そのクラスターのジョブのリストを含むクラスターに関する詳細情報が表示されます。

クラスターの詳細の表示

クラスターの詳細をコンソールで表示させるには、以下のようにします。

  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Clustersをクリックします。

    Clustersページには、デフォルトでAWSアカウント内の全Data Engineeringクラスターのリストが表示されます。このリストは、Environment、ステータス、サービスタイプでフィルタリングできます。

  3. クラスターの名前をクリックします。
    選択されたクラスターの詳細ページには、クラスターの状態と以下の情報が表示されます。
    Cluster Status
    詳細ページには、クラスターの状態に応じて適切な情報が表示されます。たとえば、クラスターに障害が発生しているなら、詳細ページには障害のメッセージが表示されますが、Cloudera Managerインスタンスへのリンクは表示されません。
    Cloudera Manager Configuration
    Cloudera Manager Configurationセクションには、クラスターのCloudera Managerへのリンクが表示されます。Cloudera Managerへは、パブリックなIPアドレスからでもプライベートなIPアドレスからでもログインできます。リンクをクリックすれば、クラスター内のCloudera ManagerのインスタンスへアクセスするためのSOCKSプロキシーサーバーをセットアップできるAltusコマンドが表示されます。Cloudera ManagerのインスタンスにSSH接続する際には、プライベートキーが必要になります。

    Cloudera Manager Configurationセクションは、Cloudera ManagerのIPアドレスが利用可能な場合にのみ表示されます。クラスターのステータスがCreatingやFailedになっているときは、Cloudera ManagerのIPアドレスは利用できません。

    Node Configuration
    Node Configurationセクションには、マスターノードとワーカーノードの設定が表示されます。コンピュートノードを追加しているならそれらのノードの設定が表示されます。 このセクションには、ノード数とノードのインスタンスタイプ、EBSボリュームの設定とスポットインスタンスの取得の価格オプションが表示されます。
    Cluster Details
    • クラスターのステータスがFailedなら、Failure Messageにはその障害の原因が説明されています。
    • Log Archive Locationは、クラスター及びジョブのログがアーカイブされるS3のバケットです。
    • Termination conditionは、クラスターのすべてのジョブが完了した場合にAltusが行うアクションです。
    • Uses instance bootstrap script?は、クラスターの起動前にブートストラップスクリプトを実行するかどうかを示します。
    All Jobs
    All Jobsセクションは、クラスターで動作しているジョブのリストです。

    View AllをクリックしてJobsページに移動すると、AWSアカウント内のすべてのジョブが表示されます。アカウント内のすべてのジョブを表示させるには、フィルターをクリアしなければならないかもしれません。

    Service Type and other key information
    • Service Typeは、クラスターで動作しているサービスタイプです。
    • Creation Timeは、ユーザーがAltusでクラスターを作成した時刻です。
    • Total Nodesは、クラスター内のノード数です。ノード数には以下のノードが含まれます。
      • マスターノード
      • Cloudera Managerノード
      • ワーカーノード
      • コンピュートワーカーノード

      コンピュートワーカーノードがスポットインスタンスを使っているなら、利用されているコンピュートワーカーノード数は、クラスターに設定されたコンピュートワーカーノード数と一致しないかもしれません。Total Nodesセクションには、クラスターで利用できるノード数と、クラスターに対して設定された合計のノード数が表示されます。

      ノードに関する情報を見るには、View Instancesをクリックします。Instancesウィンドウには、クラスター内のインスタンスのリスト、それらのAWS IDとIPアドレス、クラスター内でのロールが表示されます。Cloudera Managerのインスタンスは、このリストには含まれません。

    • Environmentは、クラスターが作成されたAltus Environmentです。
    • AWS regionは、クラスターが作成されたAWSのリージョンです。
    • CDH Versionは、クラスターが使用しているCDHのバージョンです。
    • Identifiersは、クラスターに割り当てられたCloudera Resource Name(CRN)です。CRNは長い文字列なので、AltusはCRNを利用しやすいようにコピーアイコンを表示します。

クラスターの終了

コンソールからクラスターを終了させるためには、以下のようにします。
  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Clustersをクリックします。

    Clustersページには、デフォルトでAWSアカウント内の全Data Engineeringクラスターのリストが表示されます。このリストは、Environment、ステータス、サービスタイプでフィルタリングできます。

  3. 終了させたいクラスターの名前をクリックします。

    Cluster詳細ページでクラスターの情報を確認し、終了したいクラスターであることを確認してください。

  4. Actionsをクリックし、Delete Clusterを選択します。
  5. OKをクリックして、クラスターを終了させることを確認します。