已發布·持續改進
邊看數值,邊搬資料
把分散各處的營運資料匯集到一處的 ETL 工具。在瀏覽器 IDE 的畫布上連線,以實際資料檢查,再把排程、驗證與通知一併交給它。
What it is for
TASTEETL 是將命令列工具(tasteetl)與瀏覽器 IDE 裝進同一個資料夾的 ETL 產品。以資料集為來源與目標命名,在對應畫布上拖曳連接欄位,並加上查閱、篩選與運算式;以作業決定寫入何處、如何寫入;以工作流程安排執行順序與排程。檢查、追蹤與模擬執行不會寫入任何內容,卻會顯示實際資料,因此不會在看不到資料的情況下建置流程。執行後會留下執行紀錄、資料血緣與拒絕資料列,並接著提供載入後驗證、品質規則與分數、Schema 變更偵測、失敗通知與摘要報告。
檔案總管、索引標籤、畫布與抽屜面板(屬性、預覽、運算式求值、訊息、輸出)集中在同一個畫面,支援淺色與深色主題。
拖曳連接欄位、加上查閱、設定篩選與運算式,並決定輸出去向與拒絕資料列。節點位置會保存在檔案旁。
檢查、追蹤與模擬執行會讓幾列來源資料流過,在每個節點顯示實際的值,不寫入任何內容。
串接作業,為每條連線設定條件(success·failure·done),並設定平行執行、重試與鎖定。
可每天、每小時、每週、依固定間隔執行,也可在檔案送達、收到訊號或前置作業完成後執行。在行事曆上查看彼此重疊的排程。
為每個來源分別選擇完整讀取、增量(水位線)、快照比對或交易記錄(PostgreSQL wal·MySQL binlog·Oracle redo·SQL Server CDC)。
讀寫 PostgreSQL·MySQL·MariaDB·SQLite·Oracle·SQL Server·Db2·Altibase·CSV·Excel·Parquet·HTTP。
依鍵值比對來源與目標,記錄遺漏、多出與不一致的資料列,並發出通知。
在資料集上設定規則後,每次執行都會累積分數,低於門檻時便停止執行。
來源資料表的欄位變更時,可以停止執行,或發出警告後繼續。
將失敗、被篩除、找不到與被阻擋的資料列依類型分別存成檔案,可在畫面上修正值後重新寫入。
每次執行都會記錄讀取數、寫入數、失敗數以及各步驟的數量,也能比較兩次執行。透過資料血緣查看資料從哪裡來、往哪裡去。
失敗時透過郵件、Webhook 或指令發出通知,並每天寄送摘要。
鎖定版本後,在正式營運主機上以僅執行模式開啟,也可以回復。診斷套件只包含定義與歷程。
提供開發者、維運人員與遠端支援三種角色。登錄人員後,必須登入才能看到畫面,外部系統可憑權杖呼叫 API。
Product value
Focused work
Verified release
只顯示目前清單中已驗證的版本、平台、檔案大小、簽章狀態與 SHA-256。
Continue
Other tools
Discussion
歡迎留下對產品的意見、問題或使用心得。回報錯誤請使用客戶支援。
登入後即可留下回饋。
還沒有回饋。來留下第一則評論吧。