彩票走势图

作为企业级大数据平台，各厂商在集成开源技术的同时，也会在其基础之上发展各种针对性的技术，满足企业各方面的需求。下面我们就简要给大家介绍IBM在大数据平台中，针对企业的备份恢复、多租户等需求所进行的一系列扩展。

文件系统的扩展(Spectrum Scale)

说到文件系统的扩展，肯定很对人会有这样的疑问：“什么？Hadoop的基础之一就是HDFS，企业级大数据平台会把这个基础也改了吗？”。自然HDFS作为Hadoop中的基础模块，其重要性不言自明。然而作为开源的组件，在企业级应用中很难达到企业及应用的要求，例如数据备份和数据加密，直到Hadoop2.6出现之后，HDFS中才开始正式加入数据加密模块并且还在不断完善中。其实，现行各种不同的文件系统都具有各自的特色，适用于不同的企业应用场景，如ClusterFS就是Mac系统中使用的文件系统，具有良好的数据压缩特性。

从上表可看出，除了IBM，其他业界主流的大数据厂商也在企业级大数据产品中使用了扩展自HDFS的文件系统，如MapR扩展文件系统可提供全读写操作等。IBM在中，在HDFS基础之上集成了来自于GPFS的各项成熟技术，使得大数据平台能满足更多企业级需求，其主要特点举例如下：

1. Hadoop兼容：

扩展文件系统由于实现了HDFS文件系统的全部接口，对于Hadoop生态圈中的所有其他组件可以实现完全兼容，这意味着不管是Hive还是HBASE等，所有对HDFS有依赖的组件都可以无缝运行在BigInsights扩展文件系统之上。

2. 全POSIX文件接口：

POSIX(PortableOperating System Interface)是Linux/UNIX广泛使用的文件系统接口，扩展文件系统在Hadoop之上完全实现了POSIX接口，可以比HDFS实现更多、更便捷的功能，如下面例子所示。

实现跨文件系统的文件拷贝，不用选择麻烦的参数，提高了操作便捷程度：

移动文件时，可以使用相对路径，缩短了命令的长度，更加简洁方便了：

还可以使用系统工具，使得处理文件更方便了：

3. 数据备份：

很多企业客户，很重视数据的备份和恢复需求，而HDFS默认的备份方式是通过dstcp将文件备份到另外一个HDFS中。这意味着很多企业客户中现有的各种备份策略、备份设备没有办法发挥作用，在成本、管理各方面都带来很大的挑战。而扩展之后的文件系统，可支持各种传统的备份方式，包括把数据备份到磁带设备等：

资源调度的扩展

Hadoop 2.X之后的版本中，Yarn的使用为Hadoop的资源管理、任务调度能力带来飞速提升。然而开源社区中自带的几种调度方式FIFO、Fair(公平调度)、Capacity(资源能力调度)有较大局限使用场景有限，如都不支持基于时间控制的调度策略，FIFO和Capacity不支持任务抢占等等。

中扩展的调度器在这方面也是进行了有效的扩展。

我们来假设这样一个应用场景：

某企业经过巨大的人力和物力的投入，搭建了一套大数据平台，并希望同一个平台可以同时承载多个部门的服务，实现多工作负载并可以根据需要灵活调整资源配置(即多租户需求)。对平台提出的要求是：在正常工作日时间段，平台优先保证业务部门的在线数据分析任务，而在非工作日时间段，例如周末、节假日等，可以全力支持后台的批处理任务，以保证在指定时间窗口内完成批量任务；然而在有特殊业务要求时，如针对审计进行数据核查等，还需要动态调整批任务的资源占用参数，优先完成数据核查任务。

这样的场景使用开源HDFS中的默认调度器是很难实现的，原因是HDFS不支持动态调整资源调度策略，任何资源调度策略的更改都必须后台修改参数然后重启，这会带来业务中断并且无法通过自动调整的方式完成。而BigInsights扩展调度器可以很好的支持这样的应用场景，能满足多用户、混合负载时资源调度的动态调整。

本文中我们简单对BigInsights企业级管理模块的功能进行简要介绍，如果您想了解针对企业级应用场景BigInsights还做了哪些细致的扩展，请访问下面链接：

详情请咨询！

客服热线：023-66090381