大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
01大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
什么是大数据
大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据历史和当前考虑因素
虽然术语“大数据”相对较新,但收集和存储大量信息以进行最终分析的行为已经很久了。这个概念在 21 世纪初获得了动力,当时行业分析师 Doug Laney 将现在主流的大数据定义表达为三个 V:
1.卷,组织从各种来源收集数据,包括业务交易,社交媒体和来自传感器或机器到机器数据的信息。在过去,存储它将是一个问题 – 但新技术(如 Hadoop)减轻了负担。
2.速度,数据以前所未有的速度流入,必须及时处理。RFID 标签,传感器和智能电表正在推动近乎实时处理数据的需求。
3.品种,数据有各种格式 – 从传统数据库中的结构化数字数据到非结构化文本文档,电子邮件,视频,音频,股票报价数据和金融交易。
在 SAS,我们在大数据方面考虑两个额外的维度:
1.变化性,除了速度和数据种类的增加之外,数据流还可能与周期性峰值高度不一致。社交媒体中有什么趋势吗?每日,季节性和事件触发的峰值数据负载可能难以管理。非结构化数据更是如此。
2.复杂,今天的数据来自多个来源,这使得难以跨系统链接,匹配,清理和转换数据。但是,有必要连接和关联关系,层次结构和多个数据链接,否则您的数据可能会迅速失控。
为什么大数据很重要?
大数据的重要性不在于您拥有多少数据,而在于您使用它做了多少。您可以从任何来源获取数据并进行分析,以找到能够降低成本,减少时间,新产品开发和优化产品,以及智能决策的答案。将大数据与高性能分析结合使用时,您可以完成与业务相关的任务,例如:
1.近乎实时地确定故障,问题和缺陷的根本原因;
2.根据客户的购买习惯在销售点生成优惠券;
3.在几分钟内重新计算整个风险组合;
4.在欺诈行为影响您的组织之前检测它。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)