彩票走势图

这篇博客文章是CDP中Cloudera的操作数据库（OpDB）系列文章的一部分。每篇文章都会详细介绍新功能。从本系列的开头以CDP中的Operational Database开始。这篇博客文章概述了Cloudera OpDB的高可用性配置功能。

Cloudera的Operational DB（OpDB）是基于集群的软件，开箱即用地配置了High Availability（HA）。这将导致节点之间的无缝自动故障转移，并使配置路径对故障转移也具有弹性，这意味着可以在不关闭OpDB的情况下将其恢复。

HA可以通过以下功能进一步扩展：

• 异步复制：在本地，跨数据中心，在数据中心和云之间以及以地理分布的方式。
• 延伸群集配置：带有网络延迟（建议链接延迟小于20毫秒）。 距离可能会有所不同，具体取决于网络负载延迟和带宽。
• 只读副本：它们在数据库中提供了额外的弹性。

在线重组和配置更改

Cloudera的OpDB允许数据库重组，而无需关闭OpDB。这是因为命名空间大致等同于DB，并且可以在不关闭集群的情况下将它们分配给集群中的不同服务器集。

可以在区域中的节点之间移动名称空间，也可以通过区域服务器组将名称空间限制为节点的子集，而不必考虑节点在集群中的物理位置，或者集群是否跨越扩展集群配置中的数据中心。

还支持索引重组。大多数索引（例如近实时索引）都可以在实时系统中创建，修改或删除。 其他索引可以在线创建或删除，但不能修改。

也可以在不停止OpDB的情况下更改配置。 可以在实时系统中添加和删除节点，表和列，还可以在不停机的情况下添加SQL引擎和辅助组件。

还支持不关闭同一数据库上多个实例的配置更改。例如，可以在“列族”中添加新列，也可以将应用程序更改为使用该新列。

升级
Cloudera Manager通过发行版和维护补丁来自动化升级OpDB中各种组件的过程。Cloudera Manager以自动化方式处理以下流程：

• 安装发行或维护补丁
• 管理配置
• 每个受影响的组件的重新启动过程

Cloudera的OpDB产品是基于集群的产品，因此升级和修补程序都跨越多个节点。还支持无停机的应用程序升级。升级用户应用程序时，无需关闭任何存储引擎。

复写
支持所有数据复制（DR）组合：

• hot-hot
• hot -warm
• hot-cold
• hot-warm-cold
• 这些配置的其他排列

数据库在集群中至少维护三个数据副本（可以配置更多副本），以防止在热灾难恢复环境中中断。但是，如果需要这种方法，则提供多种机制以允许在热环境中创建数据的副本：

• 快照
• 复写
• 出口
• 复制表
• HTable API

异步复制

Cloudera的OpDB平台支持在同一OpDB的实例之间进行近乎实时的数据异步复制，而对性能的影响最小。

异步复制具有两种一致性模式：最终一致和时间轴一致

有多种方法可以实现异步复制。

基于存储层的方法

基于存储层的异步复制方法是在多个集群之间异步复制数据。

群集复制使用主动推送方法。 群集可以是源群集（也称为主动群集，这意味着它写入新数据），目标群集（也称为被动群集，这意味着它使用复制来接收数据），或者可以同时履行这两个角色。

这种异步群集复制是指使用源群集的预写日志（WAL）传播一个更改，从而使一个群集状态与另一个群集的状态保持同步。

以列族的粒度启用复制。列族是在表创建时定义的列分组，与在表创建时不必定义的列形成对照，因为它们可以在插入时动态创建。

当数据从一个群集复制到另一个群集时，将使用群集ID（属于元数据的一部分）跟踪数据的原始来源。 还跟踪所有已经使用了数据的群集。 这样可以防止复制循环。

常见的复制技术：

• 中央源群集可以将更改传播到多个目标群集，以进行故障转移或由于地理分布。
• 源群集可以将更改推送到目标群集，目标群集也可以将自己的更改推送回原始群集。
• 许多不同的低延迟群集可以将更改推送到一个集中式群集，以进行备份或资源密集型数据分析作业。然后，可以将处理后的数据复制回低延迟群集。

可以将多个级别的复制链接在一起，以满足您的需求。

双重写范例

实现异步复制的另一种方法是使用双重写入范例，其中客户端可以将数据写入我们的持久消息队列，然后将其写入数据库的两个实例。这种方法适用于某些最终一致性足以满足编写要求的用例。
同步复制

Cloudera的OpDB支持在同一群集的节点之间进行数据的同步复制，这是非可选的默认设置。每次写入均被复制到最少三个节点，然后再确认回客户端。 您可以配置将写操作复制到的节点数。

异构复制

异构OpDB复制允许OpDB在不同的OpDB供应商之间进行复制。 当组织中使用多个不同的OpDB引擎或在向新OpDB平台的迁移过程中使用此引擎时，这一点很重要。

Cloudera提供了多种工具来支持异构OpDB复制，而无需额外费用。 例如，提供Nifi来启用流式接收，并从任何关系DBMS导出到Cloudera的OpDB。

只读副本

可以创建只读副本，这意味着它不支持对象的更新，删除或创建。 这种类型的副本适用于只读工作负载分配和业务连续性计划。

您可以通过两种不同的方式创建只读版本：

• 将数据库复制到标记为只读的第二个群集。
• 使用“只读副本”功能，客户端将请求发送到托管数据副本（包括主副本）的所有RegionServer。 客户端接受第一个响应，包括它是来自主要还是辅助RegionServer。

读取和写入操作读取/写入副本

读/写RrReplicas支持读和写操作，作为具有冲突解决方案的双活群集的一部分。当使用复制以双向方式同步两个不同的群集时，这种类型的副本非常有用。这使两个群集都可以在双活配置中写入。

在单个群集的范围内，所有写入均以分布式方式完成，从而确保在确认客户端之前，在多个节点上至少写入三个副本。这是通过解决冲突来完成的，以确保为客户端提供强大的一致性。

错误保护

OpDB还可以防止用户错误。Cloudera的两个存储引擎都提供了此功能。

如果用户错误是“我不是要删除此记录”之类的错误，则用户可以在使用setTimeRange删除之前检索记录记录。

此外，定期执行增量备份或快照使用户可以回滚到上一个保存的恢复点。

结论

在此博客文章中，我们研究了如何在OpDB中配置和使用高可用性功能。在下一篇文章中，我们将介绍CDP中OpDB的数据完整性功能。

关于Cloudera

在 Cloudera，我们相信数据可以使今天的不可能，在明天成为可能。我们使人们能够将复杂的数据转换为清晰而可行的洞察力。Cloudera 为任何地方的任何数据从边缘到人工智能提供企业数据云平台服务。在开源社区不懈创新的支持下， Cloudera推动了全球最大型企业的数字化转型历程。了解更多，请联系。

慧都大数据专业团队为企业提供Cloudera大数据平台搭建，免费业务咨询，定制开发等完整服务，快速、轻松、低成本将任何Hadoop集群从试用阶段转移到生产阶段。

欢迎拨打慧都热线023-68661681或咨询慧都在线客服，我们有专业的大数据团队，为您提供免费大数据相关业务咨询！