课程介绍
本课程将通过一个电视收视率项目实战驱动讲解,项目案例是国内的一家广电企业作为非洲国家的一个运营商,以用户收视行为数据作为基础数据,通过对频道和节目的分析,采用多维度统计分析的方法挖掘用户的收视行为特征。
通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。
课程大纲
- 第1节 项目的简介
- 第2节 项目的背景
- 第3节 项目流程演示
- 第4节 讲课的内容和对应的知识点
- 第5节 php展示统计分析之后的数据
- 第6节 大数据架构介绍并且企业使用的测试集群环境和人员配置
- 第7节 VM的安装
- 第8节 centos的安装和网络配置
- 第9节 通过- 第三方连接centos的方法
- 第10节 CentOS的yum源更新已经关闭防火墙
- 第11节 JAVA的安装和hadoop安装
- 第12节 完全分布式搭建(上)
- 第13节 完全分布式搭建(下)
- 第14节 通过hadoop自带的demo运行单词统计
- 第15节 写一个sh脚本,可以通过一台机器控制多台机器
- 第16节 hadoop常用的命令简单介绍
- 第17节 maven的安装
- 第18节 maven的使用时出现的问题以及解决问题方法
- 第19节 MAPREDUCE 示例编写及编程规范
- 第20节 安装时间同步工具,让所有电脑进行同步
- 第21节 Hive简介和工作流程
- 第22节 Mysql的安装,centos7安装mysql注意点
- 第23节 安装Hive,并且使用Hive做一个小案例
- 第24节 把txt文件的数据导入到Hive表中
- 第25节 Flume采集系统结构图
- 第26节 Flume的安装部署和实战
- 第27节 sqoop数据迁移和安装
- 第28节 sqoop数据从hadoop里面导入到mysql里面
- 第29节 sqoop数据从mysql里面导入到hadoop里面
- 第30节 Azkaban介绍和安装
- 第31节 Azkaban创建SSL配置和配置文件
- 第32节 Azkaban实战通过5个不同场景介绍原理
- 第33节 电视采集项目流程篇之通过linux日志收集数据到hdfs上面
- 第34节 电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗
- 第35节 电视采集项目流程篇之清洗数据绑定到hive表中(上)
- 第36节 电视采集项目流程篇之清洗数据绑定到hive表中(下)
- 第37节 电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中
- 第38节 电视采集项目流程篇之把hive表中数据导入到mysql中
- 第39节 电视采集项目流程篇之安装php环境并且快速熟悉php语法
- 第40节 电视采集项目流程篇之安装php和echarts进行结合展示图表
- 第41节 电视采集项目流程篇之Azkaban调度脚本的编写
- 第42节 电视采集项目流程篇之Azkaban流程调度演示,最终在php页面展示
- 第43节 hadoop和hive项目怎么平滑的转到spark上面介绍
- 第44节 Spark介绍和整体架构
- 第45节 Spark历史和特点
- 第46节 Spark下载源码和安装和使用
- 第47节 Spark创建RDD集合
- 第48节 Spark中transformation的介绍
- 第49节 Spark中action的介绍
- 第50节 Spark SQL发展史
- 第51节 HiveContext
- 第52节 Spark SQL和DataFrame
- 第53节 电视采集项目流程如何把hadoop项目平滑过渡到spark项目上
- 第54节 电视采集项目流程spark篇通过sparksql处理业务逻辑上
- 第55节 电视采集项目流程spark篇通过sparksql处理业务逻辑下
- 第56节 电视采集项目流程spark篇通过Azkaban调度spark
- 第57节 项目总体总结
- 第58节 简历指导
更多教程
教程不断整理更新中,以上截图仅供参考,如需了解更多视频教程的详细信息请到如下地址查看:
教程分类说明:https://itvideos.github.io/categories/