很多人都熟悉预测数据分析的强大功能、便利性,以及无与伦比的精确性。无论是在Netflix网站上寻找新内容,还是浏览近日在亚马逊网站购买的物品,预测分析越来越多地用于自动化日常任务,过滤信息,做出更好的决策,并改善客户支持。
预测分析的大多数早期用途都集中在消费者应用程序上,在这些应用程序中可以从大量用户那里收集大量数据,从而更容易证明在数据采集、处理和模型开发方面的大量投资是合理的。很难了解预测分析的投资回报率,因为这是一项复杂的工作。它远远超越了传统的统计和概率技术,通常使用机器学习,甚至在某些情况下,采用基于神经网络的深度学习来训练模型,并根据大量数据集进行预测。数据驱动的方法非常适合于自动化IT系统管理,因为现在的基础设施可以提供大量的事件日志、系统遥测、性能指标。
制造、物流和设施控制系统开创了预测分析的工业应用。例如,劳斯莱斯公司使用预测分析来主动安排维护,并提高其飞机发动机的效率。在存储应用中,预测分析用于预测和主动修复设备故障,识别性能瓶颈,并基于历史测量优化系统配置。
消化所有数据
毫无疑问,无论是Netflix网站还是谷歌智能助理,企业的使用数据越多,其提供的建议就越好,因为逐步提高准确性主要取决于是否有更多数据可供使用。这同样适用于预测性存储分析。该软件的准确性与它所拥有的数据一样,无论是数量还是质量都很重要;基于不准确或不精确数据的预测模型都将失败。
对于预测性存储分析软件,数据需求转化为收集大量系统事件、内部参数、性能度量和特定于工作负载的度量。其基线遥测包括:
事件和错误日志,例如系统故障和异常;
性能测量,例如总体IOPS和每卷IOPS、各种操作(如顺序读取、随机读取和顺序写入)的吞吐量以及延迟;
按工作负载划分的带宽使用和延迟;
工作集(热数据)和缓存利用率。
用于模型开发和培训的数据集越大,预测统计模型或机器学习模型的精度越高。考虑到这一点,许多供应商对来自其所有客户的数据进行汇总和匿名。使用更广泛和多样的安装示例中的数据,供应商可以显著提高预测,更好地检测性能、安全性和硬件异常。
例如,Hewlett Packard Enterprise InfoSight是HPE公司收购Nimble的产物,每天从几乎每个部署的Nimble阵列收集来自3000万到7000万个传感器的数据。该公司声称,在客户发现问题之前,它发现的90%的问题都可以得到解决。
HPE公司的InfoSight每天从部署的Nimble阵列收集多达7000万个传感器的数据。
由于训练数据集仅由存储软件供应商用于预测模型开发,因此不需要识别特定客户的信息,并且每个客户部署可以从其他客户的经验中受益。首先,存储供应商使用聚合数据来改进所谓的机器学习或深度学习培训阶段的预测模型。然后,他们将模型推送到系统管理软件,该软件在推理阶段从各个系统中提取实时监控数据。其他模型用于系统配置、容量规划和故障排除,以执行根本原因分析。
预测算法正在成为存储平台上的标准设备,与存储管理的被动方法相比,它具有许多优势。
预测性存储分析软件通常用于改进许多任务。在评估产品时,需要查看每个产品如何衡量这五个关键特性和功能:
(1)支持自动化预测并防止性能、容量、可用性和安全问题。容量管理是预测性存储分析软件最常见的应用程序。模型可以实时分析每个设备、数量和应用程序的使用情况,并在达到使用目标时主动发出警报。根据管理员的判断,系统可以自动添加分配的空间或重新平衡现有容量,以防止其耗尽。
预测性存储分析还可以通过关联和识别与特定问题相关的事件来帮助解决问题和进行根本原因分析。使用汇总的客户数据对于故障排除特别有用,因为它为管理系统提供了对所有客户问题超集的可见性,并能够检测到以前未发现的细微的问题,这些问题与其他地方发生的类似问题共享取证签名。
(2)管理和配置功能显示在模型中,模型可以自动确定性能、资源消耗、容量基线和趋势。其中包括不适合简单统计模型的模型,如线性、多项式回归或周期性时间波动(季节性、每月、每周)。基线和趋势可用于自动化存储系统的设置和管理,并通过优化配置设置和协助工作负载分配来提高资源利用率和效率。
(3)系统软件更新和修补功能主动应用修补程序(需经管理员批准),包括解决以前发现的系统问题的修补程序。一些供应商使用分析使beta或alpha级别的代码,仅对遇到特定问题并满足硬件或其他系统要求的站点可用,希望该修复程序能够解决紧急问题,而不会不必要地危及其他客户的可靠性。
(4)资源规划功能使用相同的趋势发现预测算法来增强规划模拟和假设分析,使存储管理员能够快速模拟各种场景,预测容量、IOPS和带宽需求,并建议系统升级。
(5)虚拟机管理功能与各种虚拟化平台(尤其是VMware的vSphere)集成,可提供特定于工作负载的性能和容量指标,现场使用趋势并建议存储配置设置。
好处和建议
预测算法通常与其他自动化和配置管理工具配合使用,正在成为存储平台上的标准设备,与存储管理的被动方法相比,它具有许多优势。这些包括:
通过自动化与容量和性能管理相关的存储任务来降低运营支出;
通过主动解决问题来提高可用性,例如特定卷上的容量耗尽;
通过推荐最佳配置来提高资源利用率和效率,并改善应用程序性能。
例如,除了在客户意识到问题之前预测和解决问题之外,HPE公司声称InfoSight将管理和解决存储相关问题所花费的时间减少了85%,并节省了79%的运营费用。
存储供应商通常提供管理软件。因此,建议将预测性存储分析和其他人工智能衍生技术作为未来产品评估的关键点。对于使用设备无关的软件定义存储的组织也是如此,例如Cohesity、DataCore、Red Hat Ceph、Gluster以及VMware vSAN。使用上面的功能列表作为产品评估清单的一部分,以确定最适合企业的需求和更广泛的基础设施管理环境。