第二部分:设计,构建和部署 Data Mesh
现在,您已经了解了基本概念,可以开始设计和构建 Data Mesh 组件的旅程了。大部分工作可能由软件工程师在数据工程师和架构师的指导下完成。本节将针对这两类工程师(软件和数据),因此将解释数据工程师可能不熟悉的术语。
-
第 4 章,“定义 Data Mesh 架构”,探讨了 Data Mesh 的核心组件,重点介绍了数据产品的架构以及更广泛的 Data Mesh 架构,并重点介绍了各种工件和开发、运行时和运营功能如何组合在一起以创建可发现、可观察和可操作的数据产品。 本章还深入探讨了如何通过 Data Mesh 主干服务、市场和注册表集成这些组件,并以 Climate Quantum Inc. 作为案例研究来说明这些原则在管理复杂气候数据方面的实际应用。
-
第 5 章,“使用数据合约驱动数据产品”,讨论了数据产品的实施,强调了数据合约在通过确保数据质量和服务水平来建立信任方面的作用,并使用 Climate Quantum Inc. 的示例来说明这些概念。 本章探讨了产品思维的原则,详细介绍了数据协定的要素,并介绍了数据服务质量 (Data QoS) 框架,该框架将数据质量维度与服务级别协议相结合,从而促进了标准化、可靠的数据管理方法。
-
第 6 章,“构建您的第一个数据产品”,将指导您完成创建初始数据产品的步骤,方法是了解其组件、利用数据协定、连接数据源和构建终端节点,同时确保集成可观察性、发现和控制服务。 本章强调了数据产品的标准化和模块化,通过使用 sidecar 和开放标准(如 Bitol 项目所倡导的标准)来简化开发和运营。
-
第 7 章,“与体验平面保持一致”,介绍了如何在数据网格中的三个功能区域之间分离职责:数据基础架构的基础架构体验平面、独立数据产品的数据产品体验平面以及用于互连数据产品和管理企业级工具的网格体验平面。 这些领域中的每一个都具有简化组织和减少认知负荷的特定功能。 本章还深入探讨了这些平面如何通信,特别关注用户和系统的反馈回路,这些反馈回路跨越平面传输以提高数据可靠性并为持续改进提供信息。
-
第 8 章,“网格化您的数据产品”,解释了如何在 Data Mesh 中注册、组合和利用多个数据产品,以提高其价值并确保数据质量和治理。 本章还重点介绍与生产者对齐和与使用者对齐的数据产品的关键概念。 最后,您将了解 Data Mesh 如何简化数据沿袭。