您的位置:首页 >> 培训信息

2019年6月15日电子、广电类---大数据技术发展新态势与应对措施

主办单位: 嘉兴市电子信息工程学会 师资信息 杨良怀
联系人: 叶远陈 联系电话: 18258327134
开班时间: 2019-06-15 开班地点: 嘉兴职业技术学院
培训科目: 培训人数: 250

一、大数据技术概述

大数据技术是指伴随着大数据的采集、存储、分析和应用的相关技术,是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理,从而获得分析和预测结果的一系列数据处理和分析技术。

二、大数据背景

21世纪是数据信息大发展的时代,移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围,各种数据正在迅速膨胀并变大。互联网、移动互联网、物联网、车联网、gps、医学影像、安全监控、金融、电信都在疯狂产生着数据。

三、数据科学简介

数据科学是一个多学科领域,其目的是从所有形式的数据中提取价值,从数据、数据结构以及可用于将数据转换为价值的高级流程。数据科学是一个流程,深入到数据处理的各个阶段,从再加工数据源和清理数据到机器学习及最终的可视化,就会看到将原始数据转换为洞察过程中涉及到一些独特步骤。

四、云计算(hadoop生态系统)

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。云计算代表了以虚拟化技术为核心、以低成本为目标、动态可扩展的网络应用设施,是近几年最有代表性的网络计算技术与模式。

五、大数据算法设计案例

第一步,对海量数据进行预处理,完成统计;

第二步,借助堆这个数据结构,根据TopK算法找出TopK。六、大数据分析典型应用案例(大规模时刻数据实时处理等案例)         

1)尿不湿和啤酒

2)零售连锁超市Target运行数据挖掘用以推算出顾客怀孕预测指数,从而做到如此精准的营销

3)电子商务网站流量分析

4)浏览餐厅推算口味制定推荐餐厅