已发布·持续改进
边看数值,边搬数据
把分散的业务数据汇集到一处的 ETL 工具。在浏览器 IDE 的画布上连线,用真实数据检查,再把调度、校验和告警一并交给它。
What it is for
TASTEETL 是把命令行工具(tasteetl)和浏览器 IDE 装进同一个文件夹的 ETL 产品。用数据集为源和目标命名,在映射画布上拖动连接列,并加上查找、过滤和表达式;用作业决定写入哪里、如何写入;用工作流安排执行顺序和调度。检查、追踪和模拟运行不写入任何内容,却会展示真实数据,因此不会在看不到数据的情况下搭建流程。运行后会留下运行记录、数据血缘和拒绝行,并随之提供加载后校验、质量规则与评分、Schema 变更检测、失败告警和摘要报告。
资源管理器、标签页、画布和抽屉面板(属性、预览、表达式求值、消息、输出)集中在一个界面中,支持浅色和深色主题。
拖动连接列,挂上查找,设置过滤器和表达式,并决定输出去向和拒绝行。节点位置保存在文件旁边。
检查、追踪和模拟运行会让几行源数据流过,在每个节点显示真实数据,不写入任何内容。
串联作业,为每条连线设置条件(success·failure·done),并设定并行运行、重试和锁。
可按天、按小时、按周、按固定间隔运行,也可在文件到达、收到信号或前置作业完成后运行。在日历上查看相互重叠的调度。
为每个源分别选择全量读取、增量(水位线)、快照比对或事务日志(PostgreSQL wal·MySQL binlog·Oracle redo·SQL Server CDC)。
读写 PostgreSQL·MySQL·MariaDB·SQLite·Oracle·SQL Server·Db2·Altibase·CSV·Excel·Parquet·HTTP。
按键比对源和目标,记录缺失、多余和不一致的行,并发出通知。
在数据集上设置规则后,每次运行都会累积评分,低于阈值时停止运行。
源表的列发生变化时,可以停止运行,或发出警告后继续。
将失败、被过滤、未找到和被阻止的行按类型分别保存为文件,可在界面上修正数据后重新写入。
每次运行都会记录读取数、写入数、失败数以及各步骤的数量,还能比较两次运行。通过数据血缘查看数据从哪里来、到哪里去。
失败时通过邮件、Webhook 或命令发出告警,并每天发送摘要。
锁定版本后,在生产机器上以仅运行模式打开,也可以回滚。诊断包中只包含定义和历史记录。
提供开发者、运维人员和远程支持三种角色。登记人员后,只有登录后才能看到界面,外部系统可凭令牌调用 API。
Product value
Focused work
Verified release
只显示当前清单中已验证的版本、平台、文件大小、签名状态和 SHA-256。
Continue
Other tools
Discussion
欢迎留下对产品的意见、问题或使用体验。报告错误请使用客户支持。
登录后即可留下反馈。
还没有反馈。来留下第一条评价吧。