您当前的位置：首页 > 无限物联

大数据的是与非

2017-06-23 04:13:31

101(2)

在时下的流行语中，很难找出1个比“大数据”更吸引眼球的术语了。1980年，阿尔文•托夫勒在《第3次浪潮》中预言了信息时期的到来会带来数据爆发，约翰•梅西在1998年的美国高等计算机系统协会大会上首次提出“大数据(big data)”1词。甚么是大数据？这1概念目前还没有构成统1的定义。几种代表性的观点以下：麦肯锡认为“大数据是指没法在1定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合”；维基百科认为“大数据是指没法在1定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集”；全球最具权威的IT研究与顾问咨询公司——高德纳公司认为“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。

大数据时期已来临，它将在众多领域掀起变革的巨浪，这是勿庸置疑的事实，在以云计算为代表的技术创新大幕的衬托下，这些本来很难搜集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐渐为人类创造更多的价值，而对电网企业来讲，大数据的利用一样会增进企业的逾越发展。

大数据的本质是事物的时域、空域记录，并不是事物的描写数据

对大数据的特点，IT界通经常使用Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)这4个V来概括。Volume，指数据体量巨大，从TB级别跃升到PB乃至EB级别；Variety，指数据类型繁多。除传统的结构化数据，大量非结构化、半结构化数据如网络日志、音频、视频、图片等；Value，指价值密度低，但大数据分析的价值高。价值密度的高低与数据总量的大小成反比，以视频为例，1部1小时的视频，在连续不中断监控进程中，可能有用的数据仅仅只有1两秒；Velocity，指变化速度快。大数据不但量大，而且变化快，大数据的利用依赖于对数据的快速处理。但在笔者看来，对大数据作4V特点的概括是现象而非本质总结。

其实人类文明就是大数据的记录与利用积累，现今社会进入了信息时期，信息化的本质是用IT技术和方法描写世界，描写事物的内在本质、进程规律和业务规则，信息化的利用进程就是在描写好事物的软件系统中实现人工和/或机器记录，大数据的本质是事物的时域、空域记录，并不是事物的描写数据，大数据成为热门是由于信息化、互联网、终真个普及和利用让我们进入了1个机器自动记录的时期，爆炸性增长的记录数据使传统的人工、单机/单节点的机器处理能力没法完成记录的分析、发掘，由此催生了云计算和大数据概念并推动人工智能的工程利用，机器学习等人工智能技术就是机器处理大数据及大数据利用高级模式。

大数据利用的本质是推导规律、预知未来，并不是简单的统计分析

在信息化时期之前，人类就有典型的大数据利用，如视觉美学总结的黄金分割(0.618)，社会学中的在特定时空范围内存在的“28”理论。大数据利用的本质是推导规律、预知未来，并不是简单的统计分析。在信息化时期，大数据极大依赖信息化及其利用，展开大数据分析也必须利用信息化方法与手段，符合信息化业务驱动、目标导向等原则，没有目标的大数据平台建设或挂大数据“羊头”不利于信息化建设和大数据利用。

而互联网大数据与企业大数据是有区分的，互联网本质是跨区域的信息化网络基础设施，其大量的内容服务和居于互联网社交软件其实不存在描写事物的进程即没有对象模型，人们利用互联网留下了利用记录(大量的非结构化数据)，分析这些大数据记录的条件是重新构建记录的对象，对记录标识特点。企业信息化1般经过业务标准化和业务流程梳理进程，所以企业的大数据是存在对象描写，但企业利用的困难是我们建设的系统在对象描写上不统1、对象上的记录不完全。所以互联网大数据与企业大数据利用虽然原理与方法1致，但分析工作的重点是有区分的。互联网公司在展开大数据分析的工具、技术方法不完全适用于企业，更不能把互联网大数据的平台建设当作企业大数据利用工作的全部。

区分好对象模型数据与记录数据是大数据分析的基础，虽然描写事物对象的数据也能够到达PB级，如人类的基因图谱、地球大气层活动模型、电网的网络结构模型等，这些数据不是大数据，在这些对象模型上构建软件并记录的业务变化是大数据。所以在大数据利用方面存在两类数据的预处理，1类是模型数据预处理，另外一类是记录数据预处理。模型层面的预处理本质是信息化建设方案的科学性、公道性。记录的完全性很大程度上也是取决于信息化方案，同时也取决于信息系统的利用进程。1旦软件上线，再作数据治理来解决模型之间的不1致性或对记录的2次“模型化”加工是1种方法论上的误导，正确的方法应当是根据企业架构和行业解决方案完善信息化架构，实现企业信息化架构规范和引导下的信息系统建设和利用，在企业层面兼顾企业模型、兼顾系统结构和功能界面、统1业务系统利用规范。企业的数据治理必须在建设方案中完成，系统建成系统后的数据治理是无效的，固然在系统运行进程中数据库的技术数据治理是必须的。

大数据利用在电网领域大有可为

在电网企业中，电量数据是1组典型的大数据。客户和客户的电表台账是电量数据的宿主对象，收集系统中对客户和电表台账进行建模，各用户电表的时序记录就是电量大数据。下面结合国网江苏电力展开的负荷预测大数据利用简述大数据利用方法。

首先是数据预处理。对象模型的预处理，依托营配调1体化，建立客户和电表台账与电网供电逻辑关系，构建电网各电压层级直至各台区到用户的关联模型；记录数据的预处理，对电量记录电度值进行年度节假日除权回原，去除电量的节假日因素，去除记录奇点和内插补全个别记录缺点等。

其次是分行业回归建立日电量与气温、湿度等因素用电模型，根据实时运行方式累计各台区日电量、日负荷，完成各区域、各电压等级的电量和负荷预测模型的构建，并构建模型机器学习，保持模型的时效性。

最后，由大数据平台给预测模型导入实时气温与前1时段的电量和负荷，实现短时间、超短时间的全网负荷预测。一样原理，关联宏观GDP与电量指数，结合业扩包装量变化，实现中长时间负荷预测。

2015年，江苏电网以全样本的用户逐日实时收集用电数据，结合10多年用电、业扩、气象等历史数据，建立起涵盖全省各地区、分行业和25万专变用户和40万台公用变压器的包括温度、湿度、节假日、周末等要素的多维度用电影响模型，模型包括的数据关联关系超过110亿项，展开负荷中长时间、短时间、超短时间预测工作，有效指点了生产工作。

另外，电量大数据的利用在行业内外还有大量的可利用价值，如从用电装备节能潜力分析全社会节能潜力、大用户用电特点分析行业产能利用情况、居民用户家庭活动特点等，大数据利用在电网领域大有可为。

TAG：