数据分析及数据可视化

在大数据时代背景下,公司基于大数据技术采用分布式系统架构,引入数据挖掘算法,采用交互式数据可视化技术可将多维数据展现在同一图表中,可对PB数量级的数据分析其相关性,找到数据与数据之间的关联关系,以满足知识探索和挖掘分析的需要。公司研究该项目用于煤炭、石油等大型开采行业的安全隐患因素进行数据分析,以及对通信、金融等信息行业的数据进行分析。

一、产品主要特点:

1、数据分析平台

系统从数据源采集——分布式系统架构——数据分析——数据可视化,对数据从源头开始,通过数据分析工具发现其蕴涵的潜在规律,通过数据可视化进行数据展示和分析。

图:数据分析平台

2、分布式系统架构

通过分布式计算技术和分布式存储技术,对分布式系统架构的技术应用研究,设计出针对集团级海量监测监控数据分布式存储架构,以满足集团级一体化数据管理与分析的需要,达到(1.5万条/5秒)的数据增量和每年约(300TB/年)的宏大数据存储。

3、数据分析工具

通过搭建分布式系统架构,引入数据挖掘相关算法,不但建立完善的数据分析工具,也大大的提高了数据的运算效率。从对异常数据的发现——数据挖掘算法的应用——数据的诊断结果,满足对海量数据的分析。

图:数据分析工具

图:分布式并行计算模型

4、数据可视化

采用交互式数据可视化技术将多维数据展现在同一图标中,并且可以对数据进行钻取、切片、切块、旋转、旋轴等交互方法,满足用户对数据的展现形式多样化、个性化,以及对数据进行深入有效分析的重要作用。

图:数据展示

图:数据展示和分析