Cloudera Managerへの接続

Cloudera Altusで作成されたクラスターは、Cloudera Managerへのリードオンリーのアクセスを許可するように設定されます。クラスターを作成するコマンドを実行する際には、リードオンリーのアカウントのユーザー名とパスワードを設定します。ユーザー名とパスワードを指定しなかった場合には、Data Engineering Seriviceがゲストのユーザー名とパスワードを生成します。

$ altus dataeng create-aws-cluster [...] --cloudera-manager-username guest --cloudera-manager-password <PASSWORD-FOR-GUEST-USER>

Altusがクレデンシャルを生成した場合、サーバーがcreate-aws-clusterコマンドに対して返すレスポンス中に、ユーザー名とパスワードが平文で含まれます。例をご覧ください。

{
    "cluster": {
        "status": "CREATING",
        "serviceType": "HIVE",

   [...]
        "instanceType": "m4.xlarge",
        "cdhVersion": "CDH511"
    },
    "clouderaManagerPassword": "RANDOM_GENERATED_PASSWORD",
    "clouderaManagerUsername": "guest"
}

生成されたクレデンシャルは、create-aws-clusterコマンドの実行後すぐに保存しておいてください。このクレデンシャルは、list-clustersdescribe-clusterコマンドでは返されません。

History Server

完了したジョブに関する情報はHistory Serverに保存されます。Cloudera Managerにクラスターと一緒に作成されたリードオンリーのアカウントでログインすれば、クラスター上で動作しているジョブに関する情報を見ることができます。

YARN History Serverへの接続

クラスター上で動作しているYARNジョブをモニタリングするには、YARN History Serverを使います。YARN History Serverへは、Cloudera Managerの管理画面からアクセスできます。

YARN History Serverにアクセスするには、以下のようにします。

  1. クラスターの作成時に生成されたリードオンリーのアカウントでCloudera Managerにログインします。
  2. Cloudera Manager Admin Consoleのホームページから、YARN-1サービスをクリックします。

    これで、YARNサービスのプロセスのステータスと一連の有益なメトリクスを含むページが表示されます。

  3. YARNサービスのページからWeb UIをクリックします。

    Sparkアプリケーションのデバッグには、Spark History Serverも役立ちます。

  4. 過去のジョブを表示させるにはHistory Server Web UIをクリックします。

    実行中のジョブを表示させるにはResource Manager Web UIをクリックします。

YARN History Serverでは、個々のタスクの試行やMapReduceジョブをドリルダウンしていき、関連するログを表示させることができます。Cloudera Managerには、デバッグに役立つログ検索のユーティリティやメトリクスも用意されています。

YARNジョブのモニタリングに関する詳しい情報は、Cloudera ManagerのドキュメンテーションのMonitoring YARN Applications を参照してください。

Spark History Serverへの接続

クラスター上で動作するSpark ジョブのモニタリングには、Spark History Serverを使用します。Spark History Serverへは、Cloudera Managerの管理画面からアクセスできます。

Spark History Serverにアクセスするには、以下のようにします。

  1. クラスターの作成時に生成されたリードオンリーのアカウントでCloudera Managerにログインします。
  2. Cloudera Manager Admin ConsoleのホームページからSPARK_ON_YARN-1サービスをクリックします。

    これで、Sparkサービスのプロセスのステータスと一連の有益なメトリクスを含むページが表示されます。

  3. Spark on YARNサービスのページからHistory Server Web UIをクリックします。

    Sparkアプリケーションのデバッグには、YARN History Serverも役立ちます。

Sparkジョブのモニタリングに関する詳しい情報は、Cloudera ManagerのドキュメンテーションのMonitoring Spark Applicationsを参照してください。