DataSpider – Autonomous Data Warehouse Cloud (以降、ADW)へ繋げてみた!

今回はDataSpiderからOracle Cloud上のAutonomous Databasesへの接続を行います。

エンドユーザー様よりデータウェアハウスの構築のご相談を受けることがありましたが、その際具体的に以下のような制約条件をいただきました。
・運用については、社内リソースで対応したいがITスキルに乏しい。

・利用ユーザーにパフォーマンスでストレスを与えたくない。

・将来を見据え、データが増えても、パフォーマンスは劣化させたくない。

・基幹システム、周辺システム、クラウドシステムなど、多種多様なシステムとの連携が必要。

・データウェアハウスは、クラウド上でセキュアに管理したい。これ以上の資源は持ちたくない。

制約条件を満たすべく色々と悩んだ結果、Oracle Autonomous DataBase と DataSpider を組み合わせて繋げることで解決することができましたので、紹介させていただきます!

1.AutonomousDBの構築および ATPインスタンスへの接続方法

Oracle Cloud上でのAutonomousDBの構築、ATPインスタンスの作成、SQLDevelopserを使用したATPインスタンスへの接続手順については以下の記事をご参考ください。 https://blogs.techvan.co.jp/oci/2019/03/08/autonomous-transaction-processing-atp%e3%81%ab%e6%8e%a5%e7%b6%9a%e3%81%97%e3%81%a6%e3%81%bf%e3%81%9f/

2.DataSpiderからAutonomousDBへの接続

Oracle Cloud上にインストールしたDataSpiderからAutonomousDBへ接続を行う。

①以下サイトからojdbc8-full.tar.gzをダウンロードする。https://www.oracle.com/database/technologies/appdev/jdbc-ucp-183-downloads.html

②ojdbc8-full.tar.gzを解凍し、ojdbc8.jar、oraclepki.jar、osdt_cert.jar、osdt_core.jarをC:\Program Files\DataSpiderServista\server\plugin\data_processing\modules\jdbc_adapterへコピーする。

③DataSpiderへログインし、グローバルリソースの設定を選択。

④新しいグローバルリソースを選択後、JDBCを選択。

⑤以下の情報で接続情報を入力し、接続が成功するかを確認する。

  • 接続名:Autonomous Data接続
  • ドライバクラス名:oracle.jdbc.driver.OracleDriver
  • URL:jdbc:oracle:thin:@{ダウンロードした資格フォルダ内のtnsnames.oraファイル内の1行目(db{日付}_high)}?TNS_ADMIN={OCI上でダウンロードした資格フォルダの格納パス}
  • ユーザ名:構築したAutonomousDBのユーザ名
  • パスワード:構築したAutonomousDBのパスワード

3.DataSpiderでAutonomousDBに作成したテーブルデータを取得

以下例ではAutonomousDBで作成したSALES_CHANNELSテーブルデータをSELECTで取得し、CSVファイルに書き込むスクリプトを作成し実行する。接続先をAutonomous Data接続に設定する。

スクリプトの実行に成功
SALES_CHANNELSテーブルのデータ
SELECTした結果がCSVに書き込まれた。

以上、今回は DataSpiderからAutonomous Databasesの接続および、DataSpiderでスクリプトを作成しAutonomous Databasesのテーブルデータの取得を行いました。