TASTEETL 文档
TASTEETL 是把命令行工具(tasteetl)和浏览器 IDE 装进同一个文件夹的 ETL 产品。用数据集为源和目标命名,在映射画布上拖动连接列,并加上查找、过滤和表达式;用作业决定写入哪里、如何写入;用工作流安排执行顺序和调度。检查、追踪和模拟运行不写入任何内容,却会展示真实数据,因此不会在看不到数据的情况下搭建流程。运行后会留下运行记录、数据血缘和拒绝行,并随之提供加载后校验、质量规则与评分、Schema 变更检测、失败告警和摘要报告。
安装
在已验证的发布文件和 URL 登记之前,我们不提供任意下载链接。
当前可查看的信息
- 源码版本
- 待定
- 支持环境
- 正在验证发布平台
- 发布状态
- Coming Soon
快速入门
- 1
从下载页面获取已核对代码签名和 SHA-256 的安装包,并解压到一个文件夹中。
- 2
启动 tasteetl-ide 后会打开浏览器。创建项目,并以 env:名称 的形式登记连接。
- 3
在画布上搭建数据集和映射,通过检查确认真实数据后运行作业。
主要功能
浏览器 IDE
资源管理器、标签页、画布和抽屉面板(属性、预览、表达式求值、消息、输出)集中在一个界面中,支持浅色和深色主题。
映射画布
拖动连接列,挂上查找,设置过滤器和表达式,并决定输出去向和拒绝行。节点位置保存在文件旁边。
用真实数据检查
检查、追踪和模拟运行会让几行源数据流过,在每个节点显示真实数据,不写入任何内容。
工作流
串联作业,为每条连线设置条件(success·failure·done),并设定并行运行、重试和锁。
调度与调度器
可按天、按小时、按周、按固定间隔运行,也可在文件到达、收到信号或前置作业完成后运行。在日历上查看相互重叠的调度。
四种读取方式
为每个源分别选择全量读取、增量(水位线)、快照比对或事务日志(PostgreSQL wal·MySQL binlog·Oracle redo·SQL Server CDC)。
十二种读写对象
读写 PostgreSQL·MySQL·MariaDB·SQLite·Oracle·SQL Server·Db2·Altibase·CSV·Excel·Parquet·HTTP。
加载后校验
按键比对源和目标,记录缺失、多余和不一致的行,并发出通知。
质量规则与评分
在数据集上设置规则后,每次运行都会累积评分,低于阈值时停止运行。
Schema 变更检测
源表的列发生变化时,可以停止运行,或发出警告后继续。
拒绝行
将失败、被过滤、未找到和被阻止的行按类型分别保存为文件,可在界面上修正数据后重新写入。
运行记录与数据血缘
每次运行都会记录读取数、写入数、失败数以及各步骤的数量,还能比较两次运行。通过数据血缘查看数据从哪里来、到哪里去。
告警与摘要报告
失败时通过邮件、Webhook 或命令发出告警,并每天发送摘要。
发布与运维
锁定版本后,在生产机器上以仅运行模式打开,也可以回滚。诊断包中只包含定义和历史记录。
人员与角色 · API
提供开发者、运维人员和远程支持三种角色。登记人员后,只有登录后才能看到界面,外部系统可凭令牌调用 API。
故障排除
看不到下载按钮。
尚未登记公开发布文件。下载页面只显示已准备好的文件。
可以查看支持的操作系统吗?
文档中只显示各产品已完成验证的环境。“验证中”表示尚未最终确定。
在哪里查看当前的功能范围?
本文档中的主要功能和产品详情页均以当前项目源码为准编写。
