设为首页收藏本站
咨询热线:18612963799
  • 大数据挖掘系列课程 随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫的需求。

产品介绍

大数据分析基于Hadoop/Mahout/MLlib的大数据挖掘

      随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫的需求。

      目前对大数据的分析工具,首选的是Hadoop/Yarn平台。Hadoop/Yarn在可伸缩性、健壮性、计算性能和成本上具有无可替代的优势,事实上已成为当前互联网企业主流的大数据分析平台。

       培训目标

      1.全面了解大数据处理技术的相关知识。

      2.学习Hadoop/Yarn/Spark的核心数据分析技术

      3.深入学习Mahout/MLlib挖掘工具在大数据中的使用。

      4.掌握Storm流处理技术和Docker等技术与大数据挖掘结合的方法。

       课程特色

      本课程从大数据挖掘分析技术实战的角度,结合理论和实践,全方位地介绍Mahout MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括:大数据挖掘及其背景,Mahout MLlib大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,以及与流挖掘和Docker技术的结合,分析了大数据挖掘前景分析。

      本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout MLlib挖掘工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。

      本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论Mahout MLlib解决方案的深入课程。讲师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。通过本课程学习,希望推动大数据分析挖掘项目开发上升到一个新水平。

       培训要点

      互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。当数据以成百上千TB不断增长的时候,我们在内部交易系统的历史信息之外,需要一种基于大数据分析的决策模型和技术支持。

      大数据通常具有:数据体量(Volume)巨大,数据类型(Variety)繁多,价值(Value)密度低,处理速度(Velocity)快等四大特征。如何有效管理和高效处理这些大数据已成为当前亟待解决的问题。

      大数据处理意味着更严峻的挑战,更好地管理和处理这些数据也将会获得意想不到的收获。

      Google发布的GFSMapReduce等高可扩展、高性能的分布式大数据处理框架,证明了在处理海量网页数据时该框架的优越性。在此基础上,Apache Hadoop开源项目开发团队,克隆并推出了Hadoop/Yarn系统。该系统已受到学术界和工业界的广泛认可和采纳,并孵化出众多子项目(HiveZookeeperMahout),日益形成一个易部署、易开发、功能齐全、性能优良的系统。在此基础上,以Berkley牵头设计的Spark/BDAS技术,实现了内存级别的分布式处理模式,使用户无需关注复杂的内部工作机制,无需具备丰富的分布式系统知识及开发经验,即可实现大规模分布式系统的部署与大数据的并行处理。

       课程提纲

      第一讲大数据挖掘及其背景

      1)数据挖掘定义

      2)Hadoop相关技术

      3)大数据挖掘知识点

      第二讲 MapReduce/DAG计算模式

      1)分布式文件系统DFS

      2MapReduce计算模型介绍

      3)使用MR进行算法设计

      4DAG及其算法设计

      第三讲 云挖掘工具Mahout/MLib

      1Hadoop中的Mahoutb介绍

      2Spark中的Mahout/MLib介绍

      3)推荐系统及其Mahout实现方法

      4)信息聚类及其MLlib实现方法

      5)分类技术在Mahout/MLib中的实现方法 

      第四讲 推荐系统及其应用开发

      1)一个推荐系统的模型

      2)基于内容的推荐

      3)协同过滤

      4)基于Mahout的电影推荐案例

      第五讲 分类技术及其应用

      1)分类的定义

      2)分类主要算法

      3Mahout分类过程

      4)评估指标以及评测

      5)贝叶斯算法新闻分类实例

      第六讲 聚类技术及其应用

      1)聚类的定义

      2)聚类的主要算法

      3K-MeansCanopy及其应用示例

      4Fuzzy K-MeansDirichlet及其应用示例

      5)基于MLlib的新闻聚类实例

      第七讲 关联规则和相似项发现

      1)购物篮模型

      2Apriori算法

      3)抄袭文档发现

      4)近邻搜索的应用

      第八讲 流数据挖掘相关技术

      1)流数据挖掘及分析

      2Storm和流数据处理模型

      3)流处理中的数据抽样

      4)流过滤和Bloom filter

      第九讲 云环境下大数据挖掘应用

      1)与Hadoop/Yarn集群应用的协作

      2)与Docker等其它云工具配合

      3)大数据挖掘行业应用展望

版权所有 京ICP备16048727号-1
Powered by PageAdmin CMS