品牌策划流程北京seo课程培训
一、环境要求
Hadoop+Hive+Spark+HBase 开发环境。
二、数据描述
本数据集包含了2017-09-11至2017-12-03之间有行为的约5458位随机用户的所有行为（行为包括点击、购买、加购、喜欢）。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。关于数据集中每一列的详细描述如下具体字段说明如下：
| 列名称 | 列中文名称 | 说明 |
| user_id | 用户 ID | 整数类型，序列化后的用户 ID |
| item_id | 商品 ID | 整数类型，序列化后的商品 ID |
| category_id | 商品类目 ID | 整数类型，序列化后的商品所属类目 ID |
| behavior_type | 行为类型 | 字符串，枚举类型，包括 ('pv', 'buy', 'cart', 'fav') |
| time | 时间戳 | 行为发生的时间戳 |
用户行为类型共有四种，它们分别是：
| 行为类型 | 说明 |
| pv | 商品详情页 pv，等价于点击 |
| buy | 商品购买 |
| cart | 将商品加入购物车 |
| fav | 收藏商品 |
三、功能要求
1.数据准备
（1）在 HDFS 中创建目录/data/userbehavior，并将 UserBehavior.csv 文件传到该目录。
[root@kb135 examdata]# hdfs dfs -mkdir -p /data/userbehavior
[root@kb135 examdata]# hdfs dfs -put ./UserBehavior.csv /data/userbehavior（2）通过 HDFS 命令查询出文档有多少行数据。
[root@kb135 examdata]# hdfs dfs -cat /data/userbehavior/UserBehavior.csv | wc -l2.数据清洗
（1）在 Hive 中创建数据库 exam
hive (default)> create database exam;
hive (default)> use exam;
（2）在 exam 数据库中创建外部表 userbehavior，并将 HDFS 数据映射到表中
create external table userbehavior(user_id int,item_id int,category_id int,behavior_type string,`time` bigint
)
row format delimited fields terminated by ","
stored as textfile location '/data/userbehavior';
（3）在 HBase 中创建命名空间 exam，并在命名空间 exam 创建 userbehavior 表，包
含一个列簇 info
hbase(main):002:0> create_namespace 'exam202010'
hbase(main):003:0> create 'exam202010:userbehavior','info'
（4）在 Hive 中创建外部表 userbehavior_hbase，并映射到 HBase 中，并将数
据加载到 HBase 中
create external table userbehavior_hbase(user_id int,item_id int,category_id int,behavior_type string,`time` bigint
)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' withserdeproperties("hbase.columns.mapping"=":key,info:item_id,info:category_id,info:behavior_type,info:time")
tblproperties ("hbase.table.name"="exam202010:userbehavior");insert into userbehavior_hbase select * from userbehavior;
（5）在 exam 数据库中创建内部分区表 userbehavior_partitioned（按照日期进行分区），
并通过查询 userbehavior 表将时间戳格式化为”年-月-日时:分:秒”格式，将数据插入至 userbehavior_partitioned 表中，例如下图：
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert into table userbehavior_partition partition (dt)
select user_id,item_id,category_id,behavior_type,from_unixtime(`time`) as `time`,from_unixtime(`time`,'yyyy-MM-dd') dt
from userbehavior;3.用户行为分析
使用 Spark，加载 HDFS 文件系统 UserBehavior.csv 文件，并分别使用 RDD 完成以下分析。
加载文件：
scala> val fileRdd = sc.textFile("hdfs://kb135:9000/data/userbehavior")（1）统计 uv 值（一共有多少用户访问淘宝）
scala> fileRdd.map(x=>x.split(",")).filter(_.length==5).map(x=>x(0)).distinct().count
res1: Long = 5458scala> fileRdd.map(x=>x.split(",")).filter(_.length==5).groupBy(x=>x(0)).count
res2: Long = 5458
（2）分别统计浏览行为为点击，收藏，加入购物车，购买的总数量
scala> fileRdd.map(x=>x.split(",")).filter(_.length==5).map(x=>(x(3),1)).reduceByKey(_+_).collect.foreach(println)
(cart,30888)
(buy,11508)
(pv,503881)
(fav,15017)scala> fileRdd.map(x=>x.split(",")).filter(_.length==5).map(x=>(x(3),1)).groupByKey().map(x=>(x._1,x._2.toList.size)).collect.foreach(println)
(cart,30888)
(buy,11508)
(pv,503881)
(fav,15017)
4.找出有价值的用户
（1）使用 SparkSQL 统计用户最近购买时间。以 2017-12-03 为当前日期，计算时间范围为一个月，计算用户最近购买时间，时间的区间为 0-30 天，将其分为 5 档，0-6 天,7-12 天,13-18 天,19-24 天,25-30 天分别对应评分 4 到 0
with
tb as
(select user_id,datediff('2017-12-03',max(dt)) as diff,max(dt)
from userbehavior_partition
where dt>'2017-11-03' and behavior_type='buy'
group by user_id),
tb2 as
(select user_id,(case when diff between 0 and 6 then 4 when diff between 7 and 12 then 3 when diff between 13 and 18 then 2 when diff between 19 and 24 then 1 when diff between 25 and 30 then 0 else null end ) tag
from tb)
select * from tb2 where tag=3;
（2）使用 SparkSQL 统计用户的消费频率。以 2017-12-03 为当前日期，计算时间范围为一个月，计算用户的消费次数，用户中消费次数从低到高为 1-161 次，将其分为 5 档，1-32，33-64，65-96，97-128，129-161 分别对应评分 0 到 4
with
tb as
(select user_id,count(user_id) as num from userbehavior_partition
where dt between '2017-11-03' and '2017-12-03' and behavior_type='buy'
group by user_id)
select user_id,(case when num between 129 and 161 then 4 when num between 97 and 128 then 3 when num between 65 and 96 then 2 when num between 33 and 64 then 1 when num between 1 and 32 then 0 else null end) tag
from tb;