IBM Streams时间序列数据分析-控件新闻-慧都网

IBM Streams时间序列数据分析

原创|行业资讯|编辑：陈俊吉|2016-11-29 09:57:40.000|阅读 609 次

概述：时间序列数据是一个物体或多个物体随着时间不断产生的数值序列。比如：从智能电表中获得月电度使用量；每日股票的价格和交易量；ECG(心电图)；地震仪，网络性能数据等等。时间序列数据一定基于时间顺序，这个顺序是所有时间分析算法的基础。IBM Streams时间序列工具包（TimeSeries Toolkit），可以用来预处理、分析和建模时间序列数据。

# 慧都年终大促·界面/图表报表/文档/IDE等千款热门软控件火热促销中 >>

相关链接：

时间序列数据是一个物体或多个物体随着时间不断产生的数值序列。比如：从智能电表中获得月电度使用量；每日股票的价格和交易量；ECG(心电图)；地震仪，网络性能数据等等。时间序列数据一定基于时间顺序，这个顺序是所有时间分析算法的基础。时间序列工具包（TimeSeries Toolkit），可以用来预处理、分析和建模时间序列数据。

在里，时间序列数据有三种主要类型的处理方法:

数据预处理：包括读取、修复、条件化数据。
：包括分析时间序列数据的内在信息。比如：对时间序列数进行计算统计信息和关联，解析和转换.
数据建模：包括时间序列模型的创建以及使用模型来预测或回归。

这个工具包还提供一系列函数来自动生成以测试和验证为用途的时间序列数。以下对该工具包的具体功能：

1. 分析模块具有以下Operator(对时间序列数据流进行连续运算)

AnomalyDetector异常检测
CrossCorrelate2交叉关联(滑动点乘或滑动内乘)，用于测量两个时间序列的相似度
CrossCorrelateMulti用于模式识别，两个或多个时间序列。
DSPFilter2数字信号处理（DSP）的过滤操作算法执行对输入时间序列的数字滤波操作。数字滤波是一个普遍的技术使用，以提高或降低的时间序列的某些特性。它可用于长度不能计数的数据处理，例如，数据平滑化，趋势，增强，放大，和频率解析。
DSPFilterFinite同上，用于有限长度的数据处理。
DWT2离散小波变换
Distribution 四位分布图quartile distribution
FFT傅里叶变换
FunctionEvaluator对时间序列中每个值进行计算
Normalize计算均值和方差，零均值和单位方差
PSAX分段聚合近似Piecewise Aggregate Approximation
STDseasonal trend decomposition 季节趋势分解

2. 分析模块具有以下函数(对单个时间序列值进行运算)

convolve，laggedConvolve卷积运算
crosscorrelate，laggedCrosscorrelate交叉关联
rms方根均值

3. 距离模块具有以下函数(对单个时间序列值进行运算)

dtw动态时间规整dynamic time warping (DTW)
dtw_itakura Itakura Parallelogram DTW
dtw_sakoe_chiba Sakoe-Chiba Band based DTW
lcss longest common subsequence (LCSS)最长公共子序列
lpNorm Lp范式

4. 数据生成模块具有以下函数Operator(自动生成时间序列数据流)

Generator正弦，三角，锯齿，或脉冲串

5. 数据生成模块具有以下函数

generate_pulsetrain_wave
generate_sawtooth_wave
generate_sine_wave
generate_square_wave
generate_triangular_wave

6. 建模模块具有以下函数Operator((对时间序列数据流进行连续运算)

ARIMA2自回归积分滑动平均模型
AutoForecaster2时间序列值自动预报
FMPFilter自适应褪色记忆多项式滤波器，用于跟踪、平滑、离群值、异常检测
GAMLearner广义可加模型
GAMScorer利用广义可加模型打分
GMM混合高斯模型，用于概率估计和离群值、异常值检测
HoltWinters2三次指数平滑法，用于长期预报
KMeansClusteringKMeans聚类分析
Kalman卡尔曼滤波器，用于跟踪、平滑和自适应时间序列数据。
LPC线性预测编码
RLSFilter递归最小二乘（RLS），预测
VAR2，Granger因果关系算法，用于近期预测、异常检测。

IncrementalInterpolate增量插补，计算遗漏值
ReSample重采样
TSWindowing窗函数，包括 Hamming, Hann, Blackman, Cosine, 和Triangle

Streams TimeSeries 工具包通过许多操作符进行了完善，能够建立预报、跟踪、回归和预测模型。在一些真实场景中，输入时间序列可能更改它的频率范围或者可能不断造成干扰，或者开始丢失数据。使用这些质量糟糕的数据来构建模型可能导致糟糕的性能。因此，在数据质量下降时，必须执行重新构建模型或暂停更新模型参数的过程。而在运行时这么做是一大挑战。

TimeSeries 工具包的建模操作符通过使用一个控制端口来接受特定的控制信号，促进了模型的再培训、暂停或恢复。一旦在输入数据中检测到异常或变更，就可以向建模操作符发送控制信号，让其更改其行为。但是，这个控制信号应与所监视的数据同步，否则会导致模型中异常数据泛滥。例如，控制信号的细微延迟可能导致对坏数据进行模型培训。在流环境中，控制这一延迟非常棘手，因为无法保证控制信号和数据在操作符之间的移动速度。

可以考虑预报某个区域的电力使用情况的示例。在模型构建周期中，必须忽略小电力故障，否则可能在预报期间产生失真的结果。小故障或超出范围的数据需要丢弃，控制端口特性可帮助实现此目的。Streams可以将控制信号的检测和提交与用于模型学习的数据进行同步。