课程介绍
互联网行业是大数据应用最前沿的阵地，目前主流的大数据技术，包括 hadoop，spark等，全部来自于一线互联网公司。从应用角度讲，大数据在互联网领域主要有三类应用：搜索引擎(比如百度，谷歌等)，广告系统（比如百度凤巢，阿里妈妈等）和推荐系统（比如阿里巴巴天猫推荐，优酷视频推荐等）。
随着电子商务规模的不断扩大，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，个性化推荐系统应运而生。个性化推荐系统在提高用户体验的同时，可以大大增加用户购买量，据统计，亚马逊的 30%收入来自于他的推荐引擎。近几年，国内互联网公司也非常重视推荐系统建设，包括阿里巴巴，京东，腾讯等。
课程研发环境
Hadoop 2.6.5； Spark 1.6.2； Scala 2.10.4； Hbase 1.2.6； kafka 2.10.0
sqoop 1.4.6； redis 3.0.7； mahout 0.12.2； Flume 1.7.0
适合人群
本课程针对具有一定的Hadoop、Spark基础。想要进一步深入学习这些技术在企业项目实战应用的学员准备的。
学习收获
- 熟悉推荐系统基本原理和设计思路
- 了解通过大数据技术来实现推荐系统
- 掌握用户画像的实现流程
- 熟悉常用的推荐算法
- 掌握通过Mahout和Spark来实现推荐系统模型
- 能够设计完整的推荐系统
学习建议
- 最好看完视频之后，抛开视频，独立自己去把上课中的示例写一遍，看自己是否理解，如果不正确，可以回过头看再看下视频，如果反复，达到真正理解和熟练掌握的目的。
- 对于项目实战部分，一定要自己亲自动手做一遍，不要满足听完就OK了
- 建议一般听视频，一般拿个纸和笔，做一些记录和笔记，这是一种非常好的学习习惯。
- 一定不要过于依赖视频，要学会看API和使用百度，学会思考，学会举一反三。
课程目录
一、推荐系统与大数据的关系
- 101-大数据应用案例
- 102-大数据技术框架
- 103-推荐系统的技术栈
- 104-课程的基础要求和安排
二、认识推荐系统
- 201-什么是推荐系统
- 202-推荐系统的应用案例
- 203-推荐系统的评测方法
- 204-推荐系统的评测指标
三、推荐系统设计
- 301-推荐系统的设计
- 302-用户界面的重要性
四、大数据lambda架构
- 401-什么是lambda架构
- 402-Lambda架构之批处理层
- 403-Lambda架构之实时处理层
- 404-Lambda架构之服务层
- 405-大数据平台快速部署-实践
- 406-配置Mysql和Redis-实践
- 407-安装Kafka-实践
- 408-安装测试Spark-实践
五、用户画像系统
- 501-什么是用户画像
- 502-用户画像的数学描述
- 503-用户画像系统流程
- 504-用户画像系统架构
- 505-用户标签使用案例
- 506-算法和模型的评价
- 507-SparkML代码实现
- 508-代码实例1之模型训练及参数设置-实践
- 509-代码实例1之参数设置及模型测试-实践
- 510-代码实例2之使用管道
- 511-代码实例2之使用管道-实践
- 512-代码实例3之模型调优
- 513-代码示例3之模型调优-实践
- 514-代码示例4之模型调优-实践
- 515-用户画像系统应用
六、推荐模型构建流程
- 601_推荐模型构建流程
- 6.02_推荐算法概述
- 6.03_基于协同过滤的推荐算法
- 6.04_相似度的计算
- 6.05_基于模型的方法
- 6.06_协同过滤的实现
- 6.07_推荐系统冷启动问题
- 6.08_推荐案例实践准备
- 6.09_推荐案例IDE环境配置-实践
七、Mahout概述与实践
- 711-Mahout推荐实例6之电影推荐2-实践
- 712-Mahout推荐实例6之电影推荐3-实践
- 713-Mahout推荐实例7之图书推荐1-实践
- 714-Mahout推荐实例7之图书推荐2-实践
- 715-Mahout推荐实例7之图书推荐3-实践
- 716-Mahout推荐实战-实践
八、Spark推荐算法实战
- 801-Mahout推荐实战补充-实践
- 802-Spark MLlib概述
- 803-MLlib推荐算法介绍
- 804-MLlib推荐算法实战
- 805-MLlib推荐实例之定义解析函数-实践
- 806_MLlib推荐实例之探索DataFrame-实践
- 807-MLlib推荐实例之ALS模型推荐-实践
- 808-MLlib推荐实例之模型评估-实践
- 809-推荐实战之开发环境准备-实践
- 810-推荐实战之实现用户评分函数-实践
- 811-推荐实战之实现计算RMSE函数-实践
- 812-推荐实战之参数设置及数据加载-实践
- 813-推荐实战之用户调查及数据拆分-实践
- 814-推荐实战之模型训练及评估-实践
- 815-推荐实战之个性化推荐-实践
- 816-推荐实战之测试部署-实践
九、推荐系统与Lambda架构
- 901-推荐系统与Lambda架构
- 902_推荐系统数据收集背景
- 903-FlumeNG数据收集系统
- 904-Web日志数据采集Flume部署配置-实践
- 905-Web日志数据采集Flume运行测试-实践
- 906_Sqoop数据收集工具
- 907-Sqoop收集账户数据-实践
- 908-HDFS数据存储系统
- 909-上传知识库文档到HDFS
- 910-HBase数据库存储系统
- 911-加载并访问Hbase的评分数据-实践
- 912-推荐系统综合实战
- 913-推荐系统离线层实现-实践
- 914-推荐系统服务层实现-实践
课程展示
课程大小
更多教程
教程不断整理更新中，以上截图仅供参考，如需了解更多视频教程的详细信息请到如下地址查看：
教程分类说明：https://itvideos.github.io/categories/
