彩票走势图

合并的流处理

InfoSphere Streams 主要设计目的是：

• 快速响应事件和不断变化的业务条件与需求。
  

• 支持以比现有系统快几个数量级的速度对数据执行持续分析。
  

• 快速适应不断变化的数据形式和类型。
  

• 管理新的流模式的高可用性、异构性和分布。
  

• 为共享的信息提供安全性和信息机密性。

InfoSphere Streams 提供了一种编程模型和 IDE 来定义数据来源，还提供了已融合到处理执行单元中的运算符软件来分析模块。以及基础架构来支持从这些组件合成可扩展的流处理应用程序。主要平台组件包括：

• 运行时环境：这包括平台服务，以及一个用于在单个主机或一组集成的主机上部署和监视 Streams 应用程序的调度程序。
  

• 编程模型：您可使用 SPL（Streams Processing Language，流处理语言，一种声明性语言）来编写 Streams 应用程序。可使用该语言陈述您的需求，运行时环境会承担确定如何最佳地服务该请求的责任。在此模型中，一个 Streams 应用程序表示为一个由运算符和连接它们的流组成的图表。
  

• 监视工具和管理接口：Streams 应用程序处理数据的速度比普通的操作系统监视实用程序快得多。InfoSphere Streams 提供了可处理此环境的工具。

流处理语言

SPL，InfoSphere Streams 的编程语言，是一种分布式数据流合成语言。它是一种类似 C++ 或 Java™ 的可扩展且全功能的语言，支持用户定义的数据类型。您可以使用 SPL 或原生语言（C++ 或 Java）编写自定义函数。也可以使用 C++ 或 Java 编写用户定义的运算符。

InfoSphere Streams 持续应用程序会描述一个导向图，该图由各个互联且处理多个数据流的运算符组成。数据流可来自系统外部，或者在应用程序内部生成。SPL 程序的基本构建块包括：

• 流：一个无限的结构化元组序列。它可逐个元组地由运算符使用或通过一个窗口的定义来使用。
  

• 元组：属性及其类型的一个结构化列表。流上的每个元组拥有由其流类型指定的形式。
  

• 流类型：指定元组中每个属性的名称和数据类型。
  

• 窗口：一个有限、有序的元组分组。它可以基于计数、时间、属性值或标点符号。
  

• 运算符：SPL 的基础构建块，它的运算符会处理来自流的数据并可生成新流。
  

• 处理元素 (PE)：基础执行单元。一个 PE 可封装单个运算符或多个合并的运算符。
  

• 作业：一个已部署好的用来执行的 Streams 应用程序。它由一个或多个 PE 组成。除了一组 PE 之外，SPL 编译器还会生成一个 ADL（Application Description Language，应用程序描述语言）文件来描述应用程序的结构。该 ADL 文件包含每个 PE 的详细信息，比如要加载和执行哪个二进制文件，调度限制、流格式和一个内部运算符数据流图。
  

  
  

SPL 程序的 InfoSphere Streams 运行时视图：

InfoSphere Streams 能够帮助您：

分析动态数据:

• 支持分析连续数据，包括文本、图像、音频、语音、视频、Web 流量、电子邮件、GPS 数据、财务交易、卫星数据和传感器日志。

• 包含用于高级分析的工具箱和加速器，包括近乎实时地分析来自远程通信系统的大量流数据的远程通信事件数据加速器，以及用于分析社交媒体数据的社交数据加速器。

• 在运行时计算集群的一个或多个节点上分发程序部分，帮助实现每秒数百万条消息量以及毫秒级别流通速度。

• 使您能够从大量琐碎信息中仅过滤和抽取相关数据，从而帮助降低数据存储成本。

• 基于数据量或分析复杂性，从单个服务器扩展至成千上万个计算机节点。

• 提供安全性功能和机密性以用于共享信息。

简化流应用程序开发

• 您能够通过拖拽操作构建应用程序，还能使用数据可视化功能（例如，图表和图形）向运行中的应用程序动态地添加新视图。

• 支持您创建、编辑、可视化、测试、调试和运行 Streams Processing Language (SPL) 应用程序。

• 提供组合功能以提高应用程序模块化程度，支持大型或分布式应用程序开发团队。

• 使您能够在单个流定义中嵌套和聚集数据类型。

• 支持在开发集群上构建应用程序并投入生产，而无需重新编译。

扩展现有系统的价值

• 适应快速变化的数据表单和类型。

• 您能够快速开发可映射至各种硬件配置的新应用程序。

• 支持复用现有 Java 或 C++ 代码，以及预测模型标记语言 (PMML) 模型。

• 包含一个有限的 IBM InfoSphere BigInsights 许可证 - 一个用于分析大量静态非结构化数据的基于 Hadoop 的产品。

• 集成 IBM DB2、IBM Informix、IBM Netezza、IBM solidDB、IBM InfoSphere Warehouse、IBM Smart Analytics System、Oracle、Microsoft SQL Server 和 MySQL。

开发环境

InfoSphere Streams 提供了一个敏捷开发环境，该环境由 Eclipse IDE、Streams Live Graph 视图和一个流调试器组成。该平台还包含用于加速和简化特定功能或行业的解决方案开发的工具包。

此外，您可定义您自己的工具包，提供可重用的运算符和函数集，并创建跨领域和特定于领域的加速器。它们可包含原始和组合运算符，也可同时使用原生和 SPL 函数。

BigInsights 和 InfoSphere Streams 之间的集成和交互

不断从系统中生成大量宝贵数据的公司正面临为以下两个重要用途而分析数据的问题困扰：及时感知和响应当前事件，根据历史知识进行预测，从而指导响应。这一情形产生了无缝运行移动数据（当前数据）和静止数据（历史数据）分析、处理海量、多样性、高速产生的数据的需求。IBM 的移动数据 (InfoSphere Streams) 与静止数据 (BigInsights) 平台的集成解决了 3 个主要应用场景的需求：

• 可伸缩的数据获取：通过 Streams 持续将数据获取到 BigInsights 中。例如，通常需要获取来自社交媒体来源（比如 Twitter 和 Facebook）的非结构化文本数据，以提取各种类型的态度和线索。在这种情况下，如果文本提取在获取数据时执行，那么尽早消除垃圾邮件等无关数据会让效率高很多。这种集成使公司能够避免巨额的非必要存储成本。

• 加速和充实：从 BigInsights 生辰历史上下文来加速分析和充实传入的 Streams 数据。BigInsights 可用于分析在较长的时间窗口内从各种连续和静态的数据来源吸收和集成的数据。此分析的结果为各种在线分析提供了上下文，可用于将它们引导至一种已知状态。回到社交媒体应用程序的场景，一条传入的 Twitter 消息仅拥有发布该消息的人的 ID。但是，历史数据可通过属性（比如影响者）充实该信息，为执行下游分析以适当应对此用户所表达的态度提供机会。

• 自适应分析模型：BigInsights 上的分析操作（比如数据挖掘、机器学习或统计建模）所生成的模型。这些可用作分析 Streams 上的传入数据的基础，基于实时观察结果而更新。

IBM 大数据平台的移动数据和静止数据部分可通过 3 种主要的组件类型来集成：

• 通用分析：相同的分析功能可用在 Streams 和 BigInsights 上。

• 通用数据格式：Streams 格式运算符可在 Streams 元组格式和 BigInsights 使用的数据格式之间转换数据。

• 数据交换适配器：Streams Source 和 Sink 适配器可用于与 BigInsights 交换数据。