DataSpider のクラスタをAWS上で作成してみた!
DataSpiderをAWS上で構築しているが、
「インスタンスが停止してしまったらどうしよう・・・」
という問題を解決するためにDataSpiderのクラスタを作成し、即時復旧できる構成の構築方法を紹介します(以下情報はバージョン4.2時点での情報です)。
キーワード
DataSpider,AWS,コールドスタンバイ,クラスタ,冗長化
目次
- 前提
- 全体の流れ
- Amazon FSx for Windowsファイルサーバー構築
- DataSpiderサーバー構築
- 障害時対応
前提
- AWSインスタンスはWindows
- リージョンはオレゴン
- DataSpiderのバージョンは4.2を使用
全体の流れ
①Amazon FSx for Windowsファイルサーバーを構築
②DataSpiderをAmazon FSx for Windowsファイルサーバーにインストール
③AWSインスタンスの起動と連動し、DataSpiderを即時復旧が可能に
Amazon FSx for Windowsファイルサーバー構築
Amazon FSx for Windowsファイルサーバーを構築するために、まずはDirectory Serviceの作成を行う。
サービス > Directory Service を選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/1.png)
ディレクトリのセットアップ を選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/5.png)
AWS Managed Microsoft AD を選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/3.png)
エディションはStandardを選択
ディレクトリのDNS名とNetBIOS名は適当なものを設定
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/4.png)
Adminのパスワードを入力し、次へをクリック
※パスワードは忘れないように!
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/6.png)
VPCを選択(基本的に複数なければデフォルトで入っているはず)
サブネットはDataSpiderサーバー構築予定インスタンスのリージョンを必ず含めること
設定したら次へをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/8.png)
ディレクトリの作成をクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/9.png)
新しいディレクトリができていることを確認
ステータスがアクティブになればOK
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/10.png)
続いて、Amazon FSx for Windows ファイルサーバーの構築を行う。
サービス > FSx を選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/1-1.png)
Create file systemをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/2.png)
左側のAmazon FSx for Windows File Serverをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/3-1.png)
Nextをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/4-1.png)
File system nameに任意のサーバー名を設定
Storage capacityは最低300GiB以上を設定
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/5-2.png)
VPCはデフォルトでOK
サブネットはDataSpiderサーバー構築予定インスタンスのリージョンを設定
VPC Security GroupはDataSpiderサーバー構築予定インスタンスのものを設定
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/7.png)
AWS Managed Microsoft Active Directoryを選択し、先ほど作成したDirectory Serviceを設定
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/8-1.png)
Nextをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/9-1.png)
Create file systemをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/12.png)
ファイルサーバが作成されており、AvailableとなっていればOK
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/13.png)
DataSpiderサーバー構築
DataSpiderをAmazon FSx for Windows ファイルサーバーへインストールするために、まずはDirectory Serviceを利用してドメインに参加する必要がある。
ドメイン参加方法は下記の「Windowsをドメインに参加させる」を参照
https://dev.classmethod.jp/cloud/aws/aws-directory-service/
ちなみに、DNSアドレスに設定する情報はDirectory Serviceのプロパティから確認できる。
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/14.png)
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/15.png)
ドメイン参加ができたら、FSxサーバーに接続する。接続コマンドはFSxサーバーのプロパティから確認できる。
Fileサーバーを選択し、Attachをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/16.png)
コマンドが表示されるのでコピー&ペーストで使用可能(DriveLetterの部分だけ書き換え)
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2019/11/42.png)
コマンドプロンプトを開き、先ほどのコマンドを実行
net use ドライブ名: \ファイルシステムID.DNS名\share
例 net use z: \fs-00caa7c7635fcaba7.corp.example.com\share
※もし失敗する場合、以下を確認すること。
- インスタンスを再起動
- FSxサーバーのセキュリティグループを確認し、インバウンドのルールに「すべてのICMP – IPv4」 がない場合は追加
- エクスプローラーを開いて、URLに【\ファイルシステムID】でつながるか確認
- 1時間ほど待つ(待っているとできる場合あり)
接続ができたら上記サーバーにDataSpiderをインストール
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2019/11/51-1.png)
上記ができたら、もう一つのサーバーに接続し同じようにインストールを行う。
その際、ドメイン参加ももう一つのサーバーでやる必要がある。
もう一つのサーバーでドメイン参加し、FSxサーバーに接続ができたら、上記と同じ場所に対してフォルダを物理削除してからインストールを行う。
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2019/11/52.png)
インストール後の設定(system.propertiesの設定等)が完了したら、片方のインスタンスのみ起動しておくこと。
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/17.png)
障害時対応
障害時は以下の作業を行う。
- Elastic IPの切り替え
- インスタンス起動
Elastic IPの切り替えを行う。
サービス > EC2 を選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/19.png)
画面左のElastic IPをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/20.png)
対象を選択し、アクション>アドレスの関連付けをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/1-2.png)
インスタンスの右にある▼をクリック
切り替え対象のインスタンスを選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/22.png)
プライベートIPの右にある▼をクリック
切り替え対象のインスタンスのプライベートIPを選択
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/23.png)
再関連付けにチェックを入れ、関連付けをクリック
![](https://blogs.techvan.co.jp/dataspider/wp-content/uploads/2020/11/24.png)
上記ができたら切り替え対象のインスタンスを起動させる。
インスタンスを起動すると、DataSpiderサーバーが起動するので切り替え前と同じようにDataSpiderを使用できる。
今回はAWS上で冗長化を実現しましたが、オンプレ環境ではもちろん、他クラウド環境でも同様に可能です。本記事を参考にDataSpiderの冗長化について検討してみてはいかがでしょうか。
<免責事項>
情報の掲載には注意を払っておりますが、掲載された情報の内容の正確性については一切保証しません。また、当サイトに掲載された情報を利用・使用(閲覧、投稿、外部での再利用など全てを含む)するなどの行為に関連して生じたあらゆる損害等につきましても、理由の如何に関わらず自己責任で行う必要があります。