Workload Analytics

Workload Analyticsは、Cloudera Altusクラスター上で失敗したジョブのトラブルシューティングや低速なジョブの最適化などに利用できる情報や知見を提供します。Workload Analyticsは、Altusクラスター上で動作できるあらゆるジョブで利用可能です。ジョブが終了したあと、クラスターを終了させるまでの間にジョブの実行に関する情報は自動的にTelemetry PublisherによってWorkload Analyticsに送信されます。Telemetry Publisherは、Cloudera Manager Management Service内のロールです。

Workload Analyticsは、これらの情報を利用してジョブのパフォーマンスに関するメトリクスを表示します。Workload Analyticsはベースラインを生成することによって、最新のジョブの実行状況を同じジョブのそれまでの実行状況と比較します。ユーザーは、この情報から得られた知見を使って、パフォーマンスの異常や低下やパフォーマンスを改善しうるポイントを見つけ出すことができます。

Workload Analyticsを利用するには、クラスターが属するEnvironmentでWorkload Analyticsを有効化しておかなければなりません。これは、Environmentの作成時に行えます。Workload Analyticsの有効化に関する詳細な情報については、Altus Environmentを参照してください。

ビデオ: Workload Analytics Overview

こちらのVimeoからはフルスクリーンで視聴できます。 Workload Analytics Overview.

データの収集

EnvironmentでWorkload Analyticsを有効化すると、Cloudera Management ServiceはTelemetry Publisherを起動します。Telemetry Publisherは、ジョブに関わるOozie、Hive、YARN、Sparkのサービスの設定やログファイルとともに、メトリクスを収集してWorkload Analyticsに転送します。

このデータ収集は、Workload Analyticsが有効化されたEnvironments内のすべてのクラスターで行われます。

Workload Analyticsへのアクセス

Workload Analyticsの有効化はEnvironmentのレベルでの設定であり、Environmentの生成時に設定しなければなりません。

Workload Analyticsにアクセスするには、以下の手順に従ってください。
  1. Cloudera Altusコンソールにサインインします。 https://console.altus.cloudera.com/dataeng/index.html.
  2. サイドナビゲーションパネルから、Jobsをクリックします。
  3. 分析したいジョブを選択します。
  4. Analyticsをクリックします。

Analyticsからは、Health ChecksExecution DetailsBaselineTrendが選択できます。

ジョブが完了してから、そのジョブがWorkload Analyticsで扱えるようになるまでには少し時間がかかることがあります。大規模なジョブの場合、Workload Analyticsで表示できるようになるまで最大で10分程度かかるかもしれません。

Analyticsが有効になっていなければ、ジョブを実行したEnvironmentでWorkload Analyticsが有効になっているかを確認してください。
  1. 左のナビゲーションパネルでEnvironmentsを選択します。
  2. ジョブを実行したEnvironmentを選択し、Workload Analyticsが有効化されているかを確認します。