はじめに

前回に続き、Talend Open Studio for Data Integrationを利用して、Azureのデーターベースに対して、データのインポートとエクスポートを試してみます。
前回の記事：https://tech-lab.sios.jp/archives/5666

今回は、Azureのデーターベースには「SQL Data Warehouse」を使用します。
SQL Data Warehouseのエンジンの基盤はSQL Server のため、Talendでの設定方法は前回とほぼ同じとなります。

今回の動作環境

動作環境は下記になります。

Talend の環境
– Windows 10 64bit
– jdk-8u144-windows-x64.exe
SQL Data Warehouse の環境
– 任意のデータベースに、テーブル名「test_table」作成する
– テーブル名「test_table」のスキーマは以下「※テーブルのスキーマ」のとおり設定する

※テーブルのスキーマ
カラム名：time で、データ型：smalldatetime
カラム名：name で、データ型：nvarchar(4000)
カラム名：age で、データ型：smallint

Talendの利用方法

前回と同じ下図の処理フローをTalend Open Studio for Data Integrationで作成していきます。

JDBC経由でAzure SQL Data Warehouseへのデータインポート
JDBC経由でAzure SQL Data Warehouseからデータ取得
確認のため、取得したデータを標準出力

各コンポーネントの設定方法も前回と同じ要領で、以下の設定を行います。

JDBCドライバの設定

DB接続の共有設定のために、tJDBCConnectionコンポーネントを利用します。
SQL ServerのJDBCドライバ6.2をこちらからをダウンロードします。

tJDBCConnectionの設定
JDBCのURL："jdbc:sqlserver://${サーバ名}.database.windows.net:1433;database=${データベース名};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;" ドライバJarファイル：${ダウンロードしたJDBCのファイルパスを指定} ドライバクラス："com.microsoft.sqlserver.jdbc.SQLServerDriver" ユーザ名："${Azure SQL Data Warehouseに作成したユーザー}" パスワード："${Azure SQL Data Warehouseに作成したパスワード}" 自動コミットを使用：チェックはしない

CSVファイルの読み込み

インポート対象のデータは前回と同じUTF8のCSV形式のファイル(ヘッダー付)を用意します。

tFileInputDelimitedの設定
ファイル名/ストリーム："${CSVファイルを配置したファイルパスを指定}" CSVの行区切り文字：LF(\n) フィールド区切り記号："," CSVオプション：チェックするヘッダー：1 スキーマの編集：以下「※スキーマの設定」のとおり設定するエンコード：UTF-8

※スキーマの設定
スキーマの編集にて、以下のスキーマを設定することでデータの取得が可能となります。

Azure SQL Data Warehouseへのデータ挿入

JDBCを利用してクエリを発行します。

tJDBCOutputの設定
既存の接続を使用：チェックするコンポーネントリスト：(上記で設定した)tJDBCConnection_1 テーブル："test_table" データ操作：挿入を指定スキーマの編集：tFileInputDelimitedとリンク設定後に、(上記で設定した)tFileInputDelimitedと同じことを確認

Azure SQL Data Warehouseからのデータ取得

JDBCを利用してデータを取得します。

tJDBCInputの設定
既存の接続を使用：チェックするコンポーネントリスト：(上記で設定した)tJDBCConnection_1 スキーマの編集：(上記で設定した)tFileInputDelimitedと同じとすることテーブル名："test_table" クエリ："SELECT * FROM test_table"