コンソールでのジョブの実行とモニタリング

Cloudera Altusコンソールでは、単一のジョブを投入したり、ジョブのグループを投入したりすることができます。サポートが必要な問題が発生したジョブがあれば、ジョブのリストを表示させてそこからClouderaにサポートチケットを登録できます。

コンソールでのジョブの投入

ジョブを投入する際には、既存のクラスター上で実行するように指定することも、そのジョブを実行するためのクラスターを作成することもできます。

コンソールでジョブを投入するには、以下のようにします。

  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Jobsをクリックします。

    Jobsページには、デフォルトでAWSアカウント内のすべてのData Engineeringジョブのリストが表示されます。このジョブのリストは、ジョブが投入されたEnvironment、ジョブが実行されるクラスター、ジョブが実行される時間帯でフィルタリングできます。また、ジョブを投入するユーザーや、ジョブタイプやステータスでフィルタリングすることもできます。

  3. Submit Jobsをクリックします。
  4. Job Settingsページで、Single jobを選択します。
  5. 投入したいジョブのタイプを選択します。

    Altusは、選択されたクラスターで実行できるジョブのタイプに応じたジョブのパラメーターを表示します。ジョブのタイプとクラスターのタイプの対応に関する詳しい情報については、ジョブを参照してください。

  6. ジョブの名前を入力します。

    ジョブの名前はオプションです。ジョブの名前を指定しなかった場合、AltusはジョブIDをジョブ名に設定します。

  7. ジョブタイプに応じてジョブのプロパティを指定します。
    Hive Job Properties
    プロパティ 説明
    Script

    実行するHiveのスクリプトです。Hiveスクリプトのソースとして、いずれかを選択してください。

    • S3 Path S3のバケットと、スクリプトが含まれているファイルの名前を指定します。
    • File Upload スクリプトを含むファイルをアップロードします。
    • Direct Input スクリプトを入力します。

    Hiveスクリプトには、パラメーターを持たせることができます。変数は${Variable_Name}という形式にしてください。スクリプトにパラメーターが含まれている場合、Hive Script Parameters フィールドにそれぞれのパラメーターの変数名と値を指定しなければなりません。

    Hive Script Parameters

    Hiveスクリプトに変数が含まれている場合、このフィールドは必須です。

    このオプションを選択し、Hiveスクリプト中でパラメーターとして使われている変数を指定してください。スクリプト中で使われているすべての変数に値を指定しなければなりません。

    + をクリックすれば、リストに変数を追加できます。- をクリックすれば、リストから変数を取り除くことができます。
    Job XML

    オプションで指定できます。ジョブの設定を定義するXMLドキュメントです。

    このオプションを選択し、ジョブの設定を指定してください。File Uploadを選択して設定のXMLファイルを指定するか、Direct Inputを選択して設定を入力してください。
    Spark Job Properties
    プロパティ 説明
    Main Class Sparkアプリケーションのメインのクラス、すなわちエントリポイントです。
    Jars

    クラスパスに追加されるjarファイルのパスとファイル名です。S3のバケット内、もしくはHDFSにあるjarファイルを含めることができます。

    +をクリックすれば、リストにjarファイルを追加できます。- をクリックすれば、リストからjarファイルを取り除くことができます。

    Application Arguments

    オプションで指定できます。Sparkアプリケーションのメインクラスのmainメソッドに渡す引数です。

    +をクリックすれば、リストに引数を追加できます。-をクリックすれば、リストから引数を取り除くことができます。
    Spark Arguments

    オプションで指定できます。ジョブが使用するSparkの設定プロパティのリストです。たとえば以下のように指定します。

    --executor-memory 4G --num-executors 50
    MapReduce2 Job Properties
    プロパティ 説明
    Main Class MapReduce2アプリケーションのメインのクラス、すなわちエントリポイントです。
    Jars

    クラスパスに追加されるjarファイルのパスとファイル名です。S3のバケット内、もしくはHDFSにあるjarファイルを含めることができます。

    +をクリックすれば、リストにjarファイルを追加できます。- をクリックすれば、リストからjarファイルを取り除くことができます。

    MapReduce Application Arguments

    オプションで指定できます。MapReduce2アプリケーションのメインクラスのmainメソッドに渡す引数です。

    +をクリックすれば、リストに引数を追加できます。-をクリックすれば、リストから引数を取り除くことができます。
    Java Options オプションで指定できます。JVMが使用するJavaオプションのリストです。
    Job XML

    オプションで指定できます。ジョブの設定を定義するXMLドキュメントです。

    このオプションを選択し、ジョブの設定を指定してください。File Uploadを選択して設定のXMLファイルを指定するか、Direct Inputを選択して設定を入力してください。

  8. Action on Failureでは、ジョブが失敗した場合にAltusが行うアクションを指定できます。
    Altusが行えるアクションは以下のとおりです。
    • None ジョブが失敗した場合、Altusはキューにあるそれ以降のジョブを実行します。
    • Interrupt Job Queue ジョブが失敗した場合、Altusはキューにあるそれ以降のジョブを実行しません。ジョブの失敗後に実行されなかったジョブは、ステータスがInterruptedになります。
    このオプションは、ジョブの依存関係を扱うのに役立ちます。先行するジョブが完了した場合にのみその後のジョブを実行したいなら、先行するジョブのAction on FailureオプションをInterrupt Job Queueに設定してください。
  9. Cluster Settingsセクションでは、ジョブを実行するクラスターを選択してください。
    • Use existing 利用可能なクラスターのリストからクラスターを選択してください。

      Altusは、選択されたジョブタイプを実行でき、ユーザーが利用できるクラスターの名前だけを表示します。このリストには、クラスター内のワーカー数も表示されます。

    • Create new このジョブを実行するためのクラスターの設定と作成を行います。ジョブを投入した時点でクラスターの作成プロセスが完了していなければ、Altusはジョブをジョブキューに追加し、クラスターが作成できた時点で実行します。
    • Clone existing 新しいクラスターの設定の元となるクラスターを選択します。
  10. クラスターを作成もしくは複製した場合には、新しいクラスターのプロパティを設定し、オプションを選択してください。

    実行しなければならないステップは、以下のとおりです。

    1. ジョブの完了後、Altusがクラスターを終了させられるようにしたい場合は、Terminate cluster once jobs completeオプションを選択してください。

      このジョブ専用にクラスターを作成し、ジョブが完了すればクラスターが不要になるのであれば、ジョブの完了時にAltusにクラスターを終了させることができます。Terminate cluster once jobs completeが選択されている場合、Altusはジョブが成功したかどうかにかかわらず、ジョブの終了後にクラスターを終了させます。デフォルトでは、このオプションが選択されています。Altusにクラスターを終了させたくない場合には、このオプションを解除してください。

    2. General Informationのセクションで以下の情報を指定します。
      プロパティ 説明
      Cluster Name 作成するクラスターを識別するための名前。クラスター名は任意の長さの半角英数字からなる文字列です。クラスター名にはダッシュ(-)及びアンダースコア(_)を含めることができます。空白を含めることはできません。
      Service Type

      クラスターにインストールされるサービスを指定します。クラスターで実行する計画のジョブの種類に基づいてサービスを選択してください。選択できるサービスタイプは以下のとおりです。

      • Hive
      • Hive on Spark
      • Spark 2.x
      • Spark 1.6

        Spark 1.6を選択するのは、実行するアプリケーションに必要なSparkがSpark 1.6である場合に限ってください。Altusでは、CDH 5.11上でのみSpark 1.6がサポートされています。

      • MapReduce2
      CDH Version クラスターが使用するCDHのバージョンです。
      以下のCDHのバージョンから選択できます。
      • CDH 5.12
      • CDH 5.11
      Environment

      クラスターが使用するAWSのリソースを記述するAltus Environment の名前です。Altus Environment は、クラスターのネットワーク及びインスタンスの設定を指定します。

      どのAltus Environment を選択すればいいのか分からない場合は、Altusの管理者に確認してください。
    3. Node Configurationセクションでは、作成するワーカーの数と、クラスターが使用するインスタンスタイプを指定してください。
      プロパティ 説明
      Worker クラスターのワーカーノードは、データストレージとコンピュート処理のプロセスを実行できます。ワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
      ワーカーノードについては、以下のプロパティを設定できます。
      Instance Type
      サポートされているインスタンスタイプのリストから、使用するインスタンスタイプを選択してください。

      デフォルト: m4.xlarge (16 GB 4vCPU)

      Number of Nodes
      クラスターに持たせるワーカーノード数を選択してください。クラスターには最小で3つのワーカーノードが必要です。

      デフォルト: 5

      EBS Storage
      EBSボリュームの以下のプロパティを設定してください。
      • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
      • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
      • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
      ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
      Purchasing Option
      デフォルトでは、ワーカーノードにはオンデマンドインスタンスが使われます。ワーカーノードでスポットインスタンスを使うように設定することはできません。
      Compute Worker ワーカーノードに加えて、Altusのクラスターにはコンピュートワーカーノードを持たせることができます。コンピュートワーカーノードは、コンピュート処理のプロセスだけを実行します。コンピュートワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
      コンピュートワーカーノードについては、以下のプロパティを設定できます。
      Instance Type
      コンピュートワーカーノードのインスタンスタイプを直接変更することはできません。
      Number of Nodes
      クラスターに持たせるコンピュートワーカーノード数を選択してください。

      デフォルト: 0

      EBS Storage
      EBSボリュームの以下のプロパティを設定してください。
      • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
      • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
      • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
      ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
      Purchasing Option
      オンデマンドインスタンスを使用するか、スポットインスタンスを使用するかを選択します。スポットインスタンスを使用する場合は、スポット価格を指定しなければなりません。

      コンピュートワーカーノードでのスポットインスタンスの利用に関する詳しい情報については、スポットインスタンスを参照してください。

      Master クラスターのマスターノードはAltusが設定します。マスターノードの設定をユーザーが変更することはできません。
      デフォルトでは、Altusはマスターノードを以下のように設定します。
      Instance Type
      m4.xlarge (16 GB 4vCPU)
      Number of Nodes
      1
      EBS Storage
      Altusは、サービスタイプとインスタンスタイプに応じてマスターノードを適切に設定します。
      Purchasing Option
      オンデマンドインスタンス
      Cloudera Manager Cloudera ManagerノードはAltusが設定します。Cloudera Managerノードの設定をユーザーが変更することはできません。
      デフォルトでは、AltusはCloudera Manager ノードを以下のように設定します。
      Instance Type
      c4.2xlarge (15 GB 8vCPU)
      Number of Nodes
      1
      EBS Storage
      Altusは、サービスタイプとインスタンスタイプに応じてCloudera Managerノードを適切に設定します。
      Purchasing Option
      オンデマンドインスタンス
    4. Credentialsセクションでは、ユーザーがCloudera Managerにログインする際のクレデンシャルを指定します。
      プロパティ 説明
      SSH Private Key

      作成するクラスターのインスタンスにData Engineeringサービスがアクセスし、設定する際に使用するプライベートキーです。Data Engineeringサービスは、SSHでクラスターにアクセスします。このSSHのプライベートキーは、Altus Environment で指定されているリージョンに登録されていなければなりません。

      File Uploadを選択してキーを含むファイルをアップロードするか、Direct Inputを選択してキーのコードを完全に入力してください。
      Cloudera Manager Username Cloudera Managerで使用するゲストアカウントのユーザー名です。このゲストアカウントは、クラスターを管理するCloudera Managerにアクセスするためのリードオンリーのユーザーアカウントとして作成されます。
      Cloudera Manager Password Cloudera Managerのゲストアカウントのパスワードです。
      Confirm Cloudera Manager Password Cloudera Managerのパスワードの確認です。入力されたパスワードは完全に一致していなければなりません。
    5. Advanced Settingsセクションでは、以下のオプションのプロパティを設定できます。
      プロパティ 説明
      Instance bootstrap script

      クラスターのすべてのインスタンスの起動時に、サービスの設定や起動に先立って実行されるブートストラップスクリプトです。このスクリプトは、追加のOSパッケージやアプリケーションの依存関係のインストールに利用できます。

      ブートストラップスクリプトは、クラスターの設定には使用しないでください。

      File Uploadを選択してスクリプトファイルをアップロードするか、Direct Inputを選択してスクリプトを画面上で入力してください。

      ブートストラップスクリプトには、BashのシェルスクリプトやPythonのスクリプトなど、実行可能な任意のフォーマットが利用できます。

  11. 必要なフィールドがすべて設定されていることを確認し、Submitをクリックしてください。

    Data Engineeringサービスはジョブを投入し、AWSアカウント内の選択されたクラスターで実行します。

コンソールでの複数のジョブの投入

複数のジョブをグループ化し、一度に投入することもできます。ジョブグループを投入する際には、既存のクラスター上で実行するように指定することも、そのジョブグループを実行するためのクラスターを作成することもできます。

コンソールでジョブグループを投入するには、以下のようにします。

  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Jobsをクリックします。

    Jobsページには、デフォルトでAWSアカウント内のすべてのData Engineeringジョブのリストが表示されます。このジョブのリストは、ジョブが投入されたEnvironment、ジョブが実行されるクラスター、ジョブが実行される時間帯でフィルタリングできます。また、ジョブを投入するユーザーや、ジョブタイプやステータスでフィルタリングすることもできます。

  3. Submit Jobsをクリックします。
  4. Job Settingsページで、Group of jobsを選択します。
  5. 投入したいジョブのタイプを選択します。
  6. ジョブグループの名前を入力します。

    ジョブグループの名前はオプションです。AltusはデフォルトでIDをジョブグループに割り当てます。ジョブグループの名前を指定しなかった場合、Altusはジョブグループ名をジョブグループIDと同じに設定します。

  7. Add <ジョブタイプ>をクリックします。
  8. Add Jobウィンドウで、ジョブの名前を入力します。

    ジョブの名前はオプションです。Altusは、デフォルトでジョブにIDを割り当てます。ジョブの名前を指定しなかった場合、AltusはジョブIDをジョブ名に設定します。

  9. ジョブのプロパティを指定します。

    Altusは、ジョブタイプに応じてジョブのプロパティを表示します。

    Hive Job Properties
    プロパティ 説明
    Script

    実行するHiveのスクリプトです。Hiveスクリプトのソースとして、いずれかを選択してください。

    • S3 Path S3のバケットと、スクリプトが含まれているファイルの名前を指定します。
    • File Upload スクリプトを含むファイルをアップロードします。
    • Direct Input スクリプトを入力します。

    Hiveスクリプトには、パラメーターを持たせることができます。変数は${Variable_Name}という形式にしてください。スクリプトにパラメーターが含まれている場合、Hive Script Parameters フィールドにそれぞれのパラメーターの変数名と値を指定しなければなりません。

    Hive Script Parameters

    Hiveスクリプトに変数が含まれている場合、このフィールドは必須です。

    このオプションを選択し、Hiveスクリプト中でパラメーターとして使われている変数を指定してください。スクリプト中で使われているすべての変数に値を指定しなければなりません。

    + をクリックすれば、リストに変数を追加できます。- をクリックすれば、リストから変数を取り除くことができます。
    Job XML

    オプションで指定できます。ジョブの設定を定義するXMLドキュメントです。

    このオプションを選択し、ジョブの設定を指定してください。File Uploadを選択して設定のXMLファイルを指定するか、Direct Inputを選択して設定を入力してください。
    Spark Job Properties
    プロパティ 説明
    Main Class Sparkアプリケーションのメインのクラス、すなわちエントリポイントです。
    Jars

    クラスパスに追加されるjarファイルのパスとファイル名です。S3のバケット内、もしくはHDFSにあるjarファイルを含めることができます。

    +をクリックすれば、リストにjarファイルを追加できます。- をクリックすれば、リストからjarファイルを取り除くことができます。

    Application Arguments

    オプションで指定できます。Sparkアプリケーションのメインクラスのmainメソッドに渡す引数です。

    +をクリックすれば、リストに引数を追加できます。-をクリックすれば、リストから引数を取り除くことができます。
    Spark Arguments

    オプションで指定できます。ジョブが使用するSparkの設定プロパティのリストです。たとえば以下のように指定します。

    --executor-memory 4G --num-executors 50
    MapReduce2 Job Properties
    プロパティ 説明
    Main Class MapReduce2アプリケーションのメインのクラス、すなわちエントリポイントです。
    Jars

    クラスパスに追加されるjarファイルのパスとファイル名です。S3のバケット内、もしくはHDFSにあるjarファイルを含めることができます。

    +をクリックすれば、リストにjarファイルを追加できます。- をクリックすれば、リストからjarファイルを取り除くことができます。

    MapReduce Application Arguments

    オプションで指定できます。MapReduce2アプリケーションのメインクラスのmainメソッドに渡す引数です。

    +をクリックすれば、リストに引数を追加できます。-をクリックすれば、リストから引数を取り除くことができます。
    Java Options オプションで指定できます。JVMが使用するJavaオプションのリストです。
    Job XML

    オプションで指定できます。ジョブの設定を定義するXMLドキュメントです。

    このオプションを選択し、ジョブの設定を指定してください。File Uploadを選択して設定のXMLファイルを指定するか、Direct Inputを選択して設定を入力してください。

  10. Action on Failureでは、ジョブが失敗した場合にAltusが行うアクションを指定します。
    Altusが行えるアクションは以下のとおりです。
    • None ジョブが失敗した場合、Altusはキューにあるそれ以降のジョブを実行します。
    • Interrupt Job Queue ジョブが失敗した場合、Altusはキューにあるそれ以降のジョブを実行しません。ジョブの失敗後に実行されなかったジョブは、ステータスがInterruptedになります。
    このオプションは、ジョブの依存関係を扱うのに役立ちます。先行するジョブが完了した場合にのみその後のジョブを実行したいなら、先行するジョブのAction on FailureオプションをInterrupt Job Queueに設定してください。
  11. OKをクリックします。

    Add Jobウィンドウが閉じ、ジョブがジョブグループのリストに追加されます。グループ内のジョブは、編集したり削除したりすることができます。ジョブグループにさらにジョブを追加するには、Add <ジョブタイプ>をクリックし、新しいジョブのプロパティを設定してください。

    グループ内のすべてのジョブのセットアップが終わったら、それらのジョブを実行するクラスターを指定します。

  12. Cluster Settingsセクションでは、ジョブグループを実行するクラスターを選択してください。
    • Use existing 利用可能なクラスターのリストからクラスターを選択してください。

      Altusは、選択されたジョブタイプを実行でき、ユーザーが利用できるクラスターの名前だけを表示します。このリストには、クラスター内のワーカー数も表示されます。

    • Create new このジョブを実行するためのクラスターの設定と作成を行います。ジョブを投入した時点でクラスターの作成プロセスが完了していなければ、Altusはジョブをジョブキューに追加し、クラスターが作成できた時点で実行します。
    • Clone existing 新しいクラスターの設定の元となるクラスターを選択します。
  13. クラスターを作成もしくは複製した場合には、新しいクラスターのプロパティを設定し、オプションを選択してください。

    実行しなければならないステップは、以下のとおりです。

    1. ジョブの完了後、Altusがクラスターを終了させられるようにしたい場合は、Terminate cluster once jobs completeオプションを選択してください。

      このジョブ専用にクラスターを作成し、ジョブが完了すればクラスターが不要になるのであれば、ジョブの完了時にAltusにクラスターを終了させることができます。Terminate cluster once jobs completeが選択されている場合、Altusはジョブが成功したかどうかにかかわらず、ジョブの終了後にクラスターを終了させます。デフォルトでは、このオプションが選択されています。Altusにクラスターを終了させたくない場合には、このオプションを解除してください。

    2. General Informationのセクションで以下の情報を指定します。
      プロパティ 説明
      Cluster Name 作成するクラスターを識別するための名前。クラスター名は任意の長さの半角英数字からなる文字列です。クラスター名にはダッシュ(-)及びアンダースコア(_)を含めることができます。空白を含めることはできません。
      Service Type

      クラスターにインストールされるサービスを指定します。クラスターで実行する計画のジョブの種類に基づいてサービスを選択してください。選択できるサービスタイプは以下のとおりです。

      • Hive
      • Hive on Spark
      • Spark 2.x
      • Spark 1.6

        Spark 1.6を選択するのは、実行するアプリケーションに必要なSparkがSpark 1.6である場合に限ってください。Altusでは、CDH 5.11上でのみSpark 1.6がサポートされています。

      • MapReduce2
      CDH Version クラスターが使用するCDHのバージョンです。
      以下のCDHのバージョンから選択できます。
      • CDH 5.12
      • CDH 5.11
      Environment

      クラスターが使用するAWSのリソースを記述するAltus Environment の名前です。Altus Environment は、クラスターのネットワーク及びインスタンスの設定を指定します。

      どのAltus Environment を選択すればいいのか分からない場合は、Altusの管理者に確認してください。
    3. Node Configurationセクションでは、作成するワーカーの数と、クラスターが使用するインスタンスタイプを指定してください。
      プロパティ 説明
      Worker クラスターのワーカーノードは、データストレージとコンピュート処理のプロセスを実行できます。ワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
      ワーカーノードについては、以下のプロパティを設定できます。
      Instance Type
      サポートされているインスタンスタイプのリストから、使用するインスタンスタイプを選択してください。

      デフォルト: m4.xlarge (16 GB 4vCPU)

      Number of Nodes
      クラスターに持たせるワーカーノード数を選択してください。クラスターには最小で3つのワーカーノードが必要です。

      デフォルト: 5

      EBS Storage
      EBSボリュームの以下のプロパティを設定してください。
      • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
      • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
      • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
      ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
      Purchasing Option
      デフォルトでは、ワーカーノードにはオンデマンドインスタンスが使われます。ワーカーノードでスポットインスタンスを使うように設定することはできません。
      Compute Worker ワーカーノードに加えて、Altusのクラスターにはコンピュートワーカーノードを持たせることができます。コンピュートワーカーノードは、コンピュート処理のプロセスだけを実行します。コンピュートワーカーノードに関する詳しい情報については、ワーカーノードとコンピュートワーカーノードを参照してください。
      コンピュートワーカーノードについては、以下のプロパティを設定できます。
      Instance Type
      コンピュートワーカーノードのインスタンスタイプを直接変更することはできません。
      Number of Nodes
      クラスターに持たせるコンピュートワーカーノード数を選択してください。

      デフォルト: 0

      EBS Storage
      EBSボリュームの以下のプロパティを設定してください。
      • EBS Volume Type. 実行したいジョブに最も適したEBSボリュームタイプを選択してください。
      • EBS Volume Size. EBSボリュームのサイズをギビバイト(GiB)単位で指定してください。
      • EBS Volumes per Instance. ワーカーノードのインスタンスごとのEBSボリューム数を設定してください。すべてのEBSボリュームは、同じサイズとタイプに設定されます。
      ユーザーがEBSボリュームを設定しなければ、Altusがサービスタイプやインスタンスタイプに応じて適切に設定を行います。
      Purchasing Option
      オンデマンドインスタンスを使用するか、スポットインスタンスを使用するかを選択します。スポットインスタンスを使用する場合は、スポット価格を指定しなければなりません。

      コンピュートワーカーノードでのスポットインスタンスの利用に関する詳しい情報については、スポットインスタンスを参照してください。

      Master クラスターのマスターノードはAltusが設定します。マスターノードの設定をユーザーが変更することはできません。
      デフォルトでは、Altusはマスターノードを以下のように設定します。
      Instance Type
      m4.xlarge (16 GB 4vCPU)
      Number of Nodes
      1
      EBS Storage
      Altusは、サービスタイプとインスタンスタイプに応じてマスターノードを適切に設定します。
      Purchasing Option
      オンデマンドインスタンス
      Cloudera Manager Cloudera ManagerノードはAltusが設定します。Cloudera Managerノードの設定をユーザーが変更することはできません。
      デフォルトでは、AltusはCloudera Manager ノードを以下のように設定します。
      Instance Type
      c4.2xlarge (15 GB 8vCPU)
      Number of Nodes
      1
      EBS Storage
      Altusは、サービスタイプとインスタンスタイプに応じてCloudera Managerノードを適切に設定します。
      Purchasing Option
      オンデマンドインスタンス
    4. Credentialsセクションでは、ユーザーがCloudera Managerにログインする際のクレデンシャルを指定します。
      プロパティ 説明
      SSH Private Key

      作成するクラスターのインスタンスにData Engineeringサービスがアクセスし、設定する際に使用するプライベートキーです。Data Engineeringサービスは、SSHでクラスターにアクセスします。このSSHのプライベートキーは、Altus Environment で指定されているリージョンに登録されていなければなりません。

      File Uploadを選択してキーを含むファイルをアップロードするか、Direct Inputを選択してキーのコードを完全に入力してください。
      Cloudera Manager Username Cloudera Managerで使用するゲストアカウントのユーザー名です。このゲストアカウントは、クラスターを管理するCloudera Managerにアクセスするためのリードオンリーのユーザーアカウントとして作成されます。
      Cloudera Manager Password Cloudera Managerのゲストアカウントのパスワードです。
      Confirm Cloudera Manager Password Cloudera Managerのパスワードの確認です。入力されたパスワードは完全に一致していなければなりません。
    5. Advanced Settingsセクションでは、以下のオプションのプロパティを設定できます。
      プロパティ 説明
      Instance bootstrap script

      クラスターのすべてのインスタンスの起動時に、サービスの設定や起動に先立って実行されるブートストラップスクリプトです。このスクリプトは、追加のOSパッケージやアプリケーションの依存関係のインストールに利用できます。

      ブートストラップスクリプトは、クラスターの設定には使用しないでください。

      File Uploadを選択してスクリプトファイルをアップロードするか、Direct Inputを選択してスクリプトを画面上で入力してください。

      ブートストラップスクリプトには、BashのシェルスクリプトやPythonのスクリプトなど、実行可能な任意のフォーマットが利用できます。

  14. 必要なフィールドがすべて設定されていることを確認し、Submitをクリックしてください。

    Data Engineeringサービスはジョブをグループとして投入し、AWSアカウント内の選択されたクラスターで実行します。

ジョブの状態と情報の表示

Data Engineeringジョブをコンソールで表示させるには、以下のようにします。
  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Jobsをクリックします。

    Jobsページには、デフォルトでAWSアカウント内のすべてのData Engineeringジョブのリストが表示されます。このジョブのリストは、ジョブが投入されたEnvironment、ジョブが実行されるクラスター、ジョブが実行される時間帯でフィルタリングできます。また、ジョブを投入するユーザーや、ジョブタイプやステータスでフィルタリングすることもできます。

    ジョブのリストには、ジョブが属するグループの名前や、ジョブが実行されるクラスターの名前が表示されます。グループ名をクリックすれば、そのジョブグループやグループ内のジョブの詳細が表示されます。クラスター名をクリックすれば、クラスターの詳細が表示されます。

    Jobsリストには、ジョブのステータスが表示されます。ジョブの様々なステータスに関する詳しい情報についてはジョブのステータスを参照してください。

  3. Actionsボタンをクリックすれば、以下のタスクをジョブに対して実行できます。
    • Clone a Job 表示されているジョブと同じタイプのジョブを作成するには、Clone Job アクションを選択してください。Submit Jobページでは、複製しようとしているジョブと同じプロパティを持つジョブを投入できます。ジョブを投入する前に、ジョブのプロパティの変更や追加が行えます。ジョブの設定に関する詳しい情報は、コンソールでのジョブの投入を参照してください。
    • Terminate a Job ステータスがQueued、Running、Submittingのいずれかになっているジョブでは、Terminate a Jobを選択すれば処理を止めることができます。ステータスがRunningになっているジョブを終了させると、そのジョブの実行は中断されます。ステータスがQueuedあるいはSubmittingになっているジョブを終了すると、そのジョブは実行されません。

ジョブの詳細の表示

ジョブの詳細をコンソールで表示させるには、以下のようにします。
  1. Cloudera Altusコンソールにサインインします。

    https://console.altus.cloudera.com/dataeng/index.html

  2. サイドナビゲーションパネルから、Jobsをクリックします。

    Jobsページには、デフォルトでAWSアカウント内のすべてのData Engineeringジョブのリストが表示されます。このジョブのリストは、ジョブが投入されたEnvironment、ジョブが実行されるクラスター、ジョブが実行される時間帯でフィルタリングできます。また、ジョブを投入するユーザーや、ジョブタイプやステータスでフィルタリングすることもできます。

  3. ジョブの名前をクリックします。
    Jobの詳細ページには、ジョブのタイプやプロパティ、そしてジョブのステータスを含む情報が表示されます。
    • Job Settingsセクションには、ジョブに設定されたプロパティが表示されます。このセクションには、キュー内のジョブが失敗した場合にAltusが行うアクションも表示されます。
    • ジョブの詳細ページには、ジョブが実行されるクラスター名が表示されます。クラスターが終了していなければ、クラスターの名前はクラスターの詳細ページへのリンクになっており、クリックすればクラスターに関するさらに詳しい情報を見ることができます。
    • Cloudera Manager Configurationセクションには、クラスターのCloudera Managerのインスタンスに利用できるIPアドレスが表示されます。このセクションが表示されるのは、ジョブが実行されるクラスターが終了していない場合のみです。Altusクライアントは、SSHでCloudera Managerのインスタンスへの接続に利用できるコマンドを提供しています。このコマンドにはクラスターのパラメーターが設定済みなので、表示された内容をそのままコピーして実行すればCloudera Managerに接続できます。
    • ジョブの詳細ページには、ジョブIDとCRNが表示されます。ジョブのCRNは長い文字列です。CRNを使ってジョブを指定しなければならない場合は、ジョブの詳細ページでCRNをクリップボードにコピーし、コマンドやサポートケースに貼り付けるようにすれば簡単です。たとえば、コマンドの実行時やサポートケースの作成時にジョブのCRNを含めなければならないのであれば、ジョブのCRNをジョブの詳細ページからコピーし、コマンドラインやサポートケースに貼り付けてください。