TASTEETL ドキュメント
TASTEETL は、コマンドラインツール(tasteetl)とブラウザー IDE をひとつのフォルダーに収めた ETL 製品です。データセットでソースとターゲットに名前を付け、マッピングキャンバスで列をドラッグしてつなぎ、ルックアップ・フィルター・式を加えます。ジョブでどこにどう書き込むかを決め、ワークフローで順序とスケジュールを設定します。検査・トレース・ドライランは何も書き込まずに実際の値を見せるので、値を見ないまま組み立てることはありません。実行すると実行ログ・リネージ・リジェクト行が残り、ロード後の検証、品質ルールとスコア、スキーマ変更の検知、失敗通知、日次サマリーが続きます。
インストール
検証済みの配布ファイルと URL が登録されるまでは、任意のダウンロードリンクは提供しません。
現在確認できる情報
- ソースバージョン
- 未定
- 対応環境
- 配布対象を検証中
- 配布状況
- Coming Soon
クイックスタート
- 1
ダウンロードページから、コード署名と SHA-256 が確認済みのインストール版を入手し、ひとつのフォルダーに展開します。
- 2
tasteetl-ide を起動するとブラウザーが開きます。プロジェクトを作成し、接続を env:名前 で登録します。
- 3
キャンバスでデータセットとマッピングを組み立て、検査で実際の値を確認してからジョブを実行します。
主な機能
ブラウザー IDE
エクスプローラー・タブ・キャンバス・ドロワー(プロパティ・プレビュー・式の評価・メッセージ・出力)がひとつの画面にそろっています。ライトテーマとダークテーマに対応しています。
マッピングキャンバス
列をドラッグしてつなぎ、ルックアップを付け、フィルターと式を置き、出力先とリジェクトを決めます。ノードの配置はファイルのそばに保存されます。
実際の値で検査
検査・トレース・ドライランがソースの数行を流し、ノードごとに実際の値を見せます。何も書き込みません。
ワークフロー
ジョブをつなぎ、リンクごとに条件(success・failure・done)を設定し、並列実行・再試行・ロックを決めます。
スケジュールとスケジューラー
毎日・毎時・毎週、一定間隔、ファイルが届いたとき、シグナルを受けたとき、先行ジョブのあとに実行します。重なるスケジュールはカレンダーで確認できます。
4つの読み取り方式
全件読み取り、増分(ウォーターマーク)、スナップショット比較、トランザクションログ(PostgreSQL wal・MySQL binlog・Oracle redo・SQL Server CDC)をソースごとに選べます。
12種類の読み書き先
PostgreSQL・MySQL・MariaDB・SQLite・Oracle・SQL Server・Db2・Altibase・CSV・Excel・Parquet・HTTP を読み書きします。
ロード後の検証
キーでソースとターゲットを突き合わせ、欠落・超過・不一致を記録して通知します。
品質ルールとスコア
データセットにルールを置くと実行のたびにスコアが蓄積され、基準を下回ると停止します。
スキーマ変更の検知
ソーステーブルの列が変わると、停止するか、警告して続行します。
リジェクト行
失敗・フィルター除外・未検出・ブロックを種類ごとにファイルに残し、画面で値を直して再投入できます。
実行ログとリネージ
実行ごとに読み取り件数・書き込み件数・失敗件数とステップごとの件数を記録し、2つの実行を比較できます。データがどこから来てどこへ行ったかをリネージで確認できます。
通知と日次サマリー
失敗するとメール・Webhook・コマンドで通知し、毎日サマリーを送ります。
リリースと運用
バージョンを固定し、運用マシンで実行専用として開き、ロールバックできます。診断バンドルには定義と履歴だけが含まれます。
ユーザーとロール・API
開発者・運用者・リモートサポートのロールを設けます。ユーザーを登録するとログイン後にのみ画面が表示され、トークンで外部から API を呼び出せます。
トラブルシューティング
ダウンロードボタンが表示されません。
公開配布ファイルはまだ登録されていません。準備ができたファイルだけをダウンロードページに表示します。
対応 OS を確認できますか？
製品ごとに検証が完了した環境だけをドキュメントに表示しています。「検証中」はまだ確定していないという意味です。
現在の機能範囲はどこで確認できますか？
このドキュメントの主な機能と製品ページは、現在のプロジェクトソースに基づいて作成されています。