小牛大数据项目实战实训9天

章节介绍快照

01.传统广告回顾

▸ 09:28

02.几个问题思考

▸ 19:08

03.广告的表现形式

▸ 37:00

04.名词解释

▸ 41:50

05.DSP原理图

▸ 21:31

06.DSP业务流程

▸ 03:48

07.DMP项目背景

▸ 08:03

08.DMP业务流程----重要

▸ 24:22

09.日志格式介绍

▸ 21:57

10.需求一日志转parquet文件

▸ 11:59

01.工程包的创建

▸ 01:32

02.日志转parquet文件实现方式一----StructType

▸ 53:31

03.日志转换成parquet文件格式实现方式二---自定义类

▸ 22:44

04.统计各省市的数据量分布情况----结果输出成json

▸ 18:31

05.统计各省市的数据量分布情况----结果输出到mysql中

▸ 18:00

06.统计各省市的数据量分布情况----使用Spark算子的方式实现

▸ 13:58

07.地域分布需求

▸ 14:00

00.Ambari介绍及项目打包上传

▸ 22:57

00.集群运行Job观察01

▸ 39:08

00.集群运行Job观察02

▸ 41:20

01.地域报表实现---Spark SQL

▸ 19:03

02.地域报表实现---Spark Core实现01

▸ 44:37

03.地域报表实现---Spark Core实现02

▸ 13:44

03.地域报表实现---读取原始日志文件

▸ 07:49

04.媒体报表需求

▸ 06:23

05.媒体报表实现---broadcast

▸ 20:21

06.媒体报表实现---改造---字典存入到redis

▸ 14:51

07.媒体报表实现---改造---将redis作为字典库

▸ 14:24

08.代码托管到git

▸ 09:13

01.git创建分支--合并分支--切换分支--删除分支

▸ 29:16

02.上下文标签需求

▸ 26:38

01.标签实现过程--step1

▸ 26:46

02.标签实现过程--step2

▸ 21:36

03.标签实现过程--step3

▸ 34:17

04.标签实现过程--step4

▸ 36:37

05.商圈标签实现思路

▸ 33:27

01.经纬度知识库的建立-StepOne

▸ 40:22

02.经纬度知识库的建立-StepTwo

▸ 32:25

03.添加商圈标签

▸ 31:28

04.商圈标签bug解决

▸ 03:39

05.graph共同好友案例

▸ 57:52

06.graph解决用户当天标签合并

▸ 29:16

01.案例聚合用户标签

▸ 13:43

02.案例聚合用户标签--代码实现

▸ 46:28

03.案例聚合用户标签--代码实现--测试

▸ 01:25

04.上下文标签数据合并

▸ 36:29

05.项目总结

▸ 33:42

01.中国移动实时项目背景

▸ 19:31

02.项目整体业务架构图

▸ 19:55

03.flume节点及数据量分布

▸ 06:21

04.需求

▸ 08:41

05.日志字段说明

▸ 06:42

06.ScalikeJDBC介绍

▸ 13:11

01.创建kafka -- topic

▸ 13:21

02.将数据对接到kafka

▸ 34:10

03.工程搭建--思路分析

▸ 13:51

04.代码实现-01---kafka偏移量有效性问题

▸ 47:17

05.代码实现-02---校验更新偏移量

▸ 17:15

06.代码实现--03--测试接收数据

▸ 16:23

07.代码实现--04---业务概况指标实现

▸ 1:05:14

08.代码实现--05---分区数据处理

▸ 23:09

09.代码实现--06---省市数据分布---每小时数据分布---每分钟数据分布

▸ 29:39

10.代码实现--07---偏移量有效性检验观察

▸ 03:44

11.Echarts展示

▸ 35:51

12.面试时的项目表述

▸ 46:47

13.面试问题补充

▸ 15:20