ジョブ

ジョブの実行とモニタリングは、Cloudera Altusコンソールもしくはコマンドラインインターフェースで行えます。ジョブを投入する際には、そのジョブの実行に必要なサービスを含むクラスター上で動作させるよう設定してください。

以下のリストは、Altusのクラスターで利用できるサービスタイプと、それぞれのサービスで実行できるジョブタイプです。
サービスタイプ ジョブタイプ
Hive Hive
Hive on Spark Hive
Spark 2.x Spark
Spark 1.6 Spark
MapReduce2 MapReduce2

Altusは、それぞれのクラスターに対してジョブキューを作成します。ジョブは、実行先として設定されたクラスターのキューにAltusによって追加されます。Altusは、ユーザーが投入した順序に従ってジョブを追加します。ジョブグループが投入された場合、Altusはそのジョブのグループ内の順序に従ってグループ内のジョブをキューに追加します。キュー内のジョブが失敗した場合のAltusの動作は設定できます。

Altusは、投入されたそれぞれのジョブに対してジョブIDを生成します。ジョブのグループを投入した場合、AltusはグループIDを生成します。ジョブ名やグループ名を指定しなかった場合、Altusはジョブ名にはジョブIDを、グループ名にはグループIDを設定します。

Altus EnvironmentでWorkload Analyticsが有効になっていると、ジョブの終了後にそのパフォーマンス情報を見ることができるようになります。この情報には、ヘルスチェック、ベースライン、そしてその他の実行情報が含まれます。これらの情報を使って、ジョブの現在のパフォーマンスを分析し、それを同じジョブの過去の実行と比較してみてください。

ジョブのステータス

ジョブのステータスは、それが生成されてから終了されるまでの間、時間とともに変わっていきます。ジョブのステータスは、ユーザーの操作やジョブの設定、あるいはジョブが実行されているクラスターの設定に影響を受けます。

Data Engineeringジョブには、以下のようなステータスがあります。
  • Queued ジョブは選択されたクラスター上で実行されるようキューイングされています。
  • Submitting ジョブはキューに追加されているところです。
  • Running ジョブは実行中です。
  • InterruptedジョブのステータスがInterruptedになるのは、以下のような場合です。
    • ジョブの投入時にクラスターを作成しようとしたものの、そのクラスターの作成が失敗した場合、ジョブのステータスはInterruptedになります。その場合、クラスターを新たに作成し、そのクラスター上でジョブを再実行できます。
    • ジョブがクラスター上で実行されるためにキューに入っているものの、クラスターが削除されてしまっている場合。ジョブのステータスはInterruptedになり、他のクラスターで再実行できます。
    • キューの中の先行するジョブのAction on FailureオプションがInterrupt Job Queueに設定されているためにジョブが実行されない場合、ジョブのステータスはInterruptedになります。
  • Completed ジョブは成功して完了しています。
  • Terminating ジョブの終了処理が起動されて実行中です。
  • Terminated ジョブの終了処理が完了しています。
  • Failed ジョブは失敗しています。