大数据结构将自动化，可扩展性和智能融合在一起-控件新闻-慧都网

大数据结构将自动化，可扩展性和智能融合在一起

转帖|大数据新闻|编辑：蒋永|2019-01-25 13:39:27.000|阅读 382 次

概述：与不断发展的数据生态系统相结合，企业需要可靠，可信任，现时的数据，以实现实时可操作的洞察力。面向当今企业面临的现代数据生态系统挑战，出现了大数据结构 (Big Data Fabric)。

什么是大数据结构？

大数据结构提供了一种全面的方法论来克服快速增长的数据，不断变化的应用程序需求和分布式处理需求的挑战。 Forrester将大数据结构描述为“通过自动，智能，安全地编排业务数据源，然后在Hadoop和Apache Spark等大数据平台，数据湖，内存和NoSQL中准备和处理业务数据之统一、可信和全面的视图。”

在实际使用中大数据结构包含以下6个层，它们协调工作，提供大数据的无缝，实时集成：

数据摄取
数据处理和持久性
数据编排
数据发现
数据管理和智能
数据访问

大数据结构可以涵盖各种数据位置和来源。它可以处理，管理，分析和存储来自众多来源的几乎任何数量的数据，以及通过采用各种接口的应用程序和工具访问这些数据。

谁应该关心大数据结构？

对于数据至关重要但却因为传统系统过于缓慢，过于隔离且效率低下而难以及时收集公司和外部数据组合，因而难以得到可靠，可操作的洞察力的企业应该关注大数据结构。

同样，业务部门以不同格式存储来自不同系统的大量数据的大公司，因此造成大数据孤岛，导致必须手动集成大型数据集，从而侵蚀企业大数据投资，也应该关注大数据结构。

大数据结构有什么好处？

大数据结构为企业提供了一种永久性和可扩展的机制，可以在一个统一平台中整合其所有数据。大数据结构利用来自多个异构节点的存储和处理能力，实现企业范围内对企业所有数据资产的访问。根据Forrester的说法，大数据结构帮助企业“......快速摄取，转换，编排和准备流式和批量数据，以支持客户和业务的实时可信视图。”

此外，大数据结构使公司能够：

通过内部部署和云数据源有效整合大数据资产，以全面了解企业范围的信息。
实时访问最新数据。
轻松搭载新的大数据系统并淘汰旧系统，同时保持业务系统连续运行而不会中断。

从解决问题的角度来看，大数据结构克服了数据可用性不足，数据存储和安全性不可靠，孤立数据，可扩展性差以及对表现不佳的传统系统的依赖等挑战。

大数据结构支持哪些用例？

大数据结构支持的各种用例包括实时洞察和机器学习，以及流式和高级分析。它支持跨各种大数据平台（如数据湖，Hadoop和NoSQL）编排数据流和数据整理，以支持单一版本的事实，客户个性化和高级大数据分析。 Forrester认可的顶级大数据结构用例包括客户360度视图，物联网（IoT）分析以及实时和高级分析。

Cloudera企业平台作为大数据结构

Forrester认为Cloudera（以及2019年1月与Cloudera合并的Hortonworks）是大数据结构的前15大厂商之一。 Cloudera的年收入超过1亿美元，被定位为大数据结构的“大型参与者”。其理念见Forrester以下图1。

下面的图2描述了Cloudera企业平台如何实现六层大数据结构体系结构。 Cloudera企业平台作为大数据结构的四个主要优点将在后面段落中介绍。

1、高价值分析

企业寻求高价值，敏捷的分析。组织需要一个可以支持其业务目标的统一数据管理和分析平台。企业正在寻求更高的灵活性来检测变化并主动响应。 Cloudera 企业版是一站式方案，可跨内部部署和云，有时是实时数据源，运行针对多个数据源的分析模型和算法。

Cloudera支持从边缘到AI的高价值分析用例，包括主动和预测性维护，针对通信的基于使用情况的分析，推荐引擎，企业风险管理，反洗钱，欺诈检测/预防，网络安全和机器模型。

2、共享数据目录以保留上下文并实施治理

数据目录对于分享有关分布式数据的知识以及改进数据质量，信任和治理至关重要。

数据目录提供：

（a）统一的数据和元数据视图，以便于搜索和发现数据资产。

（b）跟踪和管理数据使用和共享的能力。

（c）跨分析生命周期的一致数据上下文。

Cloudera的共享数据目录定义并保留跨分析生命周期的分布式异构数据的结构和业务环境，使数据使用者能够提取业务价值。此共享数据目录强制遵守数据安全性，隐私，保留策略和流程，以确保使用者的持续信任，并促进遵守法规和法律要求。

3、所有分析工作负载的高性能

传统数据平台无法满足现代数据生态系统众多需求所需的规模，多样性和速度。此外，分析工作负载变得越来越大，越来越复杂，因此对高性能分析的交付更具挑战性。 Cloudera 企业版以经济高效的方式为各种分析工作负载提供按需弹性规模和多租户功能。它在单一平台上提供全方位的功能，包括数据摄取，数据处理，数据发现以及描述性，规范性和预测性分析。