加入收藏 | 设为首页 | 会员中心 | 我要投稿 武陵站长网 (https://www.50888.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 服务器 > 系统 > 正文

云原生视角下,新一代数据平台架构怎么演进? | ArchSummit

发布时间:2022-10-17 05:31:58 所属栏目:系统 来源:互联网
导读:
过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。
云原生驱动下,新一代数据平台的架构迭代方向指

业务架构 系统架构 技术架构_整体架构和系统架构的区别_云系统架构

过去的 20 年里,大数据 & AI 系统的技术架构演进由三方面推动:海量数据分析需求、开放开源的技术进步、以云为代表的软硬件基础设施升级。

云原生驱动下,新一代数据平台的架构迭代方向指向何方?业界数据湖与数据仓库的争论由来已久,数据湖的灵活性与数仓的管理能力成为大数据架构设计的“鱼”和“熊掌”云系统架构,想要二者兼得是否可行?

2020 年,AWS、Databricks、阿里云同时提出“湖仓一体”概念,这一两者融合演进的新方向让业界耳目一新。

尽管有相同的目标,各个公司的演进路线却不尽相同,主要分为两种,一为湖仓融合,以 AWS 和阿里云的 MaxCompute 为代表,二为上下层结构,以 Databricks 的 Lakehouse 为代表。

那么“湖仓一体”能否真正落地?这些实践者具体的路径是怎样的?分别适用于什么样的场景?MaxCompute 实际表现如何?Databricks 的 Photon Engine 是否能够真正实现一个 Engine 解决所有问题?

将于 7 月 9-10 日在深圳举办的 ArchSummit 全球架构师峰会邀请到阿里云计算平台事业部研究员,阿里巴巴通用计算平台负责人关涛(观滔)担任出品人,邀请 Databricks 等公司的一线专家同台分享,试从“云原生”的视角,探讨新一代数据平台的架构迭代方向。包括但不限于湖仓一体落地实践、统一数据存储(HDFS、OSS 等技术演进)、Caching 层(Alluxio/JindoFS 为代表)、统一资源管理的挑战 (K8s 支持大数据计算的不足、混部技术)、统一元数据中心的技术演进、存算分离以及分布式内存池等等。

业务架构 系统架构 技术架构_整体架构和系统架构的区别_云系统架构

观滔还将围绕“大数据架构的演进”这一主题贡献一个主题演讲,内容正在紧张打磨中,对大数据感兴趣的同学不可错过。

除了【应云而生的新一代数据架构】专题,ArchSummit 深圳 2021 还有高可用高性能业务架构、下一代云原生技术体系、低代码 / 无代码、国际化运维架构、架构师经验传递、内容分发场景的系统架构实践等热门专题,快到现场与上百位大咖 1v1 交流,来一场技术深潜吧。

大会入场券 8 折优惠中,组团学习更多福利。有兴趣的同学可直接联系票务小姐姐:18514549229(同微信)

(编辑:武陵站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!