CLIでのクラスターの作成と作業

Cloudera Altusクライアントを使えば、クラスターの作成、クラスターのプロパティの表示、クラスターの終了が行えます。このセクションで取り上げるコマンドを見て、どのように使用するのか確認してください。

Altusクライアントで利用できるコマンドについての詳しい情報を表示させるには、以下のコマンドを実行してください。

altus dataeng help 

クラスターの作成

クラスターは、以下のコマンドで作成できます。

altus dataeng create-aws-cluster
--service-type=ServiceType 
--workers-group-size=NumberOfWorkers 
--cluster-name=ClusterName 
--instance-type=InstanceType 
--cdh-version=CDHVersion 
--ssh-private-key=FullPath&FileNameOfPEMfile
--environment-name=AltusEnvironmentName
--compute-workers-configuration='{"groupSize": NumberOfComputeWorkers, "useSpot": true, "bidUSDPerHr": BidPrice}'

以下は、create-aws-clusterコマンドを使う際のガイドラインです。

  • クラスターに持たせるサービスの指定は必須です。service-typeパラメーターでは、以下のサービス名を使ってクラスター内のサービスを指定してください。
    • HIVE
    • HIVE_ON_SPARK
    • SPARK

      Spark 2.1もしくはSpark 2.2ではこのサービスタイプを指定してください。

    • SPARK_16

      このサービスタイプは、アプリケーションが特にSparkのバージョン1.6を必要とするときにだけ指定してください。service-typeパラメーターでSPARK_16を指定した場合には、cdh-versionパラメーターにはCDH511を指定しなければなりません。

    • MR2
  • クラスターに含めるCDHのバージョンの指定は必須です。cdh-versionパラメーターでは、以下のバージョン名のいずれかを使ってCDHのバージョンを指定してください。
    • CDH512
    • CDH511
  • ssh-private-keyパラメーターには、--ssh-private-key=file:///my/file/path/to/ssh/private/key.pemというように、file://をプレフィックスとしたPEMファイルのフルパスとファイル名を渡さなければなりません。

    SSHのプライベートキーはAWSに登録しておく必要があります。詳しくは、AWSのドキュメントのAmazon EC2のキーペアを参照してください。

    SSHのプライベートキーはリージョンに紐付きます。プライベートキーのリージョンは、VPCサブネットのリージョンと一致していなければなりません。S3のバケットを読み書きする場合、プライベートキーのリージョンはS3のバケットのリージョンとも一致していなければなりません。

    Cloudera Altusは、パスワードで保護されたSSHキーをサポートしません。SSHキーを作成する際には、パスワード(あるいはパスフレーズ)をキーに設定しないようにしてください。-Nパラメータに空文字を指定すれば、パスワードのプロンプトをスキップできます。例: ssh-keygen -N ''

  • --compute-workers-configurationパラメーターはオプションです。このパラメーターは、ワーカーノードに加えてクラスターにコンピュートワーカーノードを追加するためのものです。コンピュートワーカーノードは、コンピュートプロセスのみを実行します。コンピュートワーカーの設定をしなかった場合、Altusはコンピュートワーカーノードなしでクラスターを作成します。
  • create-aws-clusterコマンドのレスポンスオブジェクトには、クラスターのCloudera Managerのリードオンリーのアカウントのクレデンシャルが含まれています。このクレデンシャルを取得できるのはこの時だけなので、レスポンス中のクレデンシャルは必ず記録しておいてください

クラスターへの接続

Altusへは、AWSでの他のCDHクラスターの場合と同じようにアクセスできます。クラスターのサービスポートへは、SSHを使って接続できます。SSHを使う場合、セキュリティグループを変更して接続元のインスタンスからClouderaのパブリックなIPアドレスへのSSH接続を許可しなければなりません。

クラスターへのSSH接続のセットアップに関する詳しい情報については、SSHの接続を参照してください。

Altusクライアントを使って、クラスター内のCloudera ManagerのインスタンスタンスへアクセスするSOCKSプロキシーサーバーへの接続をセットアップすることもできます。詳しくはAltusクライアントを使ったSOCKSプロキシーのセットアップを参照してください。

クラスターの状態のチェック

作成されたクラスターのステータスは、すぐにチェックできるようになります。クラスターの作成プロセスがまだ完了していない場合は、クラスターの作成の進行状況に関する情報を見ることができます。

以下のコマンドでクラスターに関する情報を表示させることができます。

altus dataeng describe-cluster 
--cluster-name=ClusterName

cluster-nameは必須のパラメーターです。

クラスターの削除

クラスターの削除は以下のコマンドで行えます。

altus dataeng delete-cluster 
--cluster-name=ClusterName