2019年6月15日电子、广电类---大数据技术发展新态势与应对措施

一、大数据技术概述

大数据技术是指伴随着大数据的采集、存储、分析和应用的相关技术，是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的一系列数据处理和分析技术。

二、大数据背景

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网、移动互联网、物联网、车联网、gps、医学影像、安全监控、金融、电信都在疯狂产生着数据。

三、数据科学简介

数据科学是一个多学科领域，其目的是从所有形式的数据中提取价值，从数据、数据结构以及可用于将数据转换为价值的高级流程。数据科学是一个流程，深入到数据处理的各个阶段，从再加工数据源和清理数据到机器学习及最终的可视化，就会看到将原始数据转换为洞察过程中涉及到一些独特步骤。

四、云计算（hadoop生态系统）

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标、动态可扩展的网络应用设施，是近几年最有代表性的网络计算技术与模式。

五、大数据算法设计案例

第一步，对海量数据进行预处理，完成统计；

第二步，借助堆这个数据结构，根据TopK算法找出TopK。六、大数据分析典型应用案例（大规模时刻数据实时处理等案例）         

1）尿不湿和啤酒

2）零售连锁超市Target运行数据挖掘用以推算出顾客怀孕预测指数，从而做到如此精准的营销

3）电子商务网站流量分析

4）浏览餐厅推算口味制定推荐餐厅