搜索

还在用 DataX 么?Apache SeaTunnel 了解一下?

发表于 2023-05-29 09:15:46 来源:k频道网址鸭子tv

Apache SeaTunnel 简介美国时间2021年 12月 9日,还用SeaTunnel 正式通过 Apache 软件基金会的解下投票决议,以全票通过的还用1000个拍拍拍免费视频优秀表现正式成为 Apache 孵化器项目。她是解下首个来自中国的数据集成平台成功进入 Apache 孵化器的项目。SeaTunnel 原名 Waterdrop,还用2017年由乐视创建,解下并于同年在 GitHub 上开源,还用2021年 10月改名为 SeaTunnel。解下Apache Seatunnel 是还用1000个拍拍拍免费视频一个非常易用,高性能、解下支持实时流式和离线批处理的还用海量数据处理产品,架构于Apache Spark 和 Apache Flink之上。解下seatunnel 能为我们做什么Databricks 开源的还用 Apache Spark 对于分布式数据处理来说是一个伟大的进步。我们在使用 Spark 时发现了很多可圈可点之处,解下同时我们也发现了我们的还用机会——通过我们的努力让 Spark 的使用更简单,更高效,并将业界和我们使用 Spark 的优质经验固化到 seatunnel 这个产品中,明显减少学习成本,加快分布式数据处理能力在生产环境落地。除了大大简化分布式数据处理难度外,seatunnel 尽所能为您解决可能遇到的问题:数据丢失与重复任务堆积与延迟吞吐量低应用到生产环境周期长缺少应用运行状态监控"seatunnel"的中文是“水滴”,来自中国当代科幻小说作家刘慈欣的《三体》系列,它是三体人制造的宇宙探测器,会反射几乎全部的电磁波,表面绝对光滑,温度处于绝对零度,全部由被强互作用力紧密锁死的质子与中子构成,无坚不摧。在末日之战中,仅一个水滴就摧毁了人类太空武装力量近2千艘战舰。seatunnel 使用场景海量数据ETL海量数据聚合多源数据处理seatunnel 的特性简单易用,灵活配置,无需开发实时流式处理高性能海量数据处理能力模块化和插件化,易于扩展支持利用SQL做数据处理和聚合Spark Structured Streaming支持 Spark 2.xseatunnel 的工作流程Input/Source[数据源输入]-> Filter/Transform[数据处理]-> Output/Sink[结果输出]多个Filter构建了数据处理的Pipeline,满足各种各样的数据处理需求,如果您熟悉SQL,也可以直接通过SQL构建数据处理的Pipeline,简单高效。目前seatunnel支持的Filter列表,仍然在不断扩充中。您也可以开发自己的数据处理插件,整个系统是易于扩展的。seatunnel 支持的插件Input/Source pluginFake, File, Hdfs, Kafka, S3, Socket,自行开发的Input pluginFilter/Transform pluginAdd, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid,自行开发的Filter pluginOutput/Sink pluginElasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout,自行开发的Output pluginseatunnel 基本原理本质上,seatunnel 不是对 Spark 和 Flink 内部的修改,而是在 Spark 和 Flink 的基础上,做了一个平台化和产品化的包装,使广大开发者使用 Spark 和 Flink 的时候更加简单和易用,主要有以下特点:完全可以做到开箱即用开发者可以开发自己的插件,plugin in 到 seatunnel上跑,而不需要写一个完整的Spark或者Flink程序seatunnel 从 v2.0开始,同时支持 Spark 和 Flink。如果想了解seatunnel的实现原理,建议熟练掌握一个最重要的设计模式:控制反转(或者叫依赖注入),这是seatunnel 实现的基本思想。控制反转(或者叫依赖注入)是什么?我们用两句话来总结:上层不依赖底层,两者依赖抽象。流程代码与业务逻辑应该分离。应用案例微博,微博增值业务部数据平台有数百个实时流式计算任务使用内部定制版 SeaTunnel,以及其子项目 Guardian 做 seatunnel On Yarn 的任务监控。新浪,新浪运维数据分析平台使用 SeaTunnel 为新浪新闻,CDN 等服务做运维大数据的实时和离线分析,并写入 Clickhouse。搜狗,搜狗奇点系统使用 SeaTunnel 作为 ETL 工具,帮助建立实时数仓体系。趣头条,趣头条数据中心,使用 SeaTunnel 支撑 mysql to hive 的离线 ETL 任务、实时 hive to clickhouse 的 backfill 技术支撑,很好的 cover 离线、实时大部分任务场景。一下科技,一直播数据平台永辉超市子公司-永辉云创,会员电商数据分析平台 SeaTunnel 为永辉云创旗下新零售品牌永辉生活提供电商用户行为数据实时流式与离线 SQL 计算。水滴筹,水滴筹在 Yarn 上使用 SeaTunnel 做实时流式以及定时的离线批处理,每天处理3~4T 的数据量,最终将数据写入 Clickhouse。seatunnel v2.x 与 v1.x 的区别是什么?

seatunnel 未来之路支持交互式 Shell 或者 WebUI,通过它们来配置和发布任务根据社区反馈,开发各种插件支持插件化体系化开发完善项目的 CI/CD接入 DSS 或者 EasyScheduler。接入 Hudi 或者 Delta Lake参考资料官方文档(https://seatunnel.apache.org/)

举报

随机为您推荐
友情链接
版权声明:本站资源均来自互联网,如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

Copyright © 2016 Powered by 还在用 DataX 么?Apache SeaTunnel 了解一下?,k频道网址鸭子tv   sitemap

回顶部