TASTEETL 文件
TASTEETL 是將命令列工具(tasteetl)與瀏覽器 IDE 裝進同一個資料夾的 ETL 產品。以資料集為來源與目標命名,在對應畫布上拖曳連接欄位,並加上查閱、篩選與運算式;以作業決定寫入何處、如何寫入;以工作流程安排執行順序與排程。檢查、追蹤與模擬執行不會寫入任何內容,卻會顯示實際資料,因此不會在看不到資料的情況下建置流程。執行後會留下執行紀錄、資料血緣與拒絕資料列,並接著提供載入後驗證、品質規則與分數、Schema 變更偵測、失敗通知與摘要報告。
安裝
在已驗證的發布檔案與 URL 登錄之前,我們不提供任意下載連結。
目前可查看的資訊
- 原始碼版本
- 未定
- 支援環境
- 正在驗證發布平台
- 發布狀態
- Coming Soon
快速入門
- 1
在下載頁面取得已確認程式碼簽章與 SHA-256 的安裝檔,並解壓縮到一個資料夾。
- 2
啟動 tasteetl-ide 後會開啟瀏覽器。建立專案,並以 env:名稱 的形式登錄連線。
- 3
在畫布上建置資料集與對應,透過檢查確認實際資料後執行作業。
主要功能
瀏覽器 IDE
檔案總管、索引標籤、畫布與抽屜面板(屬性、預覽、運算式求值、訊息、輸出)集中在同一個畫面,支援淺色與深色主題。
對應畫布
拖曳連接欄位、加上查閱、設定篩選與運算式,並決定輸出去向與拒絕資料列。節點位置會保存在檔案旁。
以實際資料檢查
檢查、追蹤與模擬執行會讓幾列來源資料流過,在每個節點顯示實際的值,不寫入任何內容。
工作流程
串接作業,為每條連線設定條件(success·failure·done),並設定平行執行、重試與鎖定。
排程與排程器
可每天、每小時、每週、依固定間隔執行,也可在檔案送達、收到訊號或前置作業完成後執行。在行事曆上查看彼此重疊的排程。
四種讀取方式
為每個來源分別選擇完整讀取、增量(水位線)、快照比對或交易記錄(PostgreSQL wal·MySQL binlog·Oracle redo·SQL Server CDC)。
十二種讀寫對象
讀寫 PostgreSQL·MySQL·MariaDB·SQLite·Oracle·SQL Server·Db2·Altibase·CSV·Excel·Parquet·HTTP。
載入後驗證
依鍵值比對來源與目標,記錄遺漏、多出與不一致的資料列,並發出通知。
品質規則與分數
在資料集上設定規則後,每次執行都會累積分數,低於門檻時便停止執行。
Schema 變更偵測
來源資料表的欄位變更時,可以停止執行,或發出警告後繼續。
拒絕資料列
將失敗、被篩除、找不到與被阻擋的資料列依類型分別存成檔案,可在畫面上修正值後重新寫入。
執行紀錄與資料血緣
每次執行都會記錄讀取數、寫入數、失敗數以及各步驟的數量,也能比較兩次執行。透過資料血緣查看資料從哪裡來、往哪裡去。
通知與摘要報告
失敗時透過郵件、Webhook 或指令發出通知,並每天寄送摘要。
發布與維運
鎖定版本後,在正式營運主機上以僅執行模式開啟,也可以回復。診斷套件只包含定義與歷程。
人員與角色 · API
提供開發者、維運人員與遠端支援三種角色。登錄人員後,必須登入才能看到畫面,外部系統可憑權杖呼叫 API。
疑難排解
看不到下載按鈕。
尚未登錄公開發布檔案。下載頁面只顯示已準備好的檔案。
可以查看支援的作業系統嗎?
文件中只顯示各產品已完成驗證的環境。「驗證中」表示尚未最終確定。
在哪裡查看目前的功能範圍?
本文件中的主要功能與產品詳情頁皆以目前專案原始碼為準撰寫。
