当前位置: 首页 > news >正文

阜新网站建设seo外包公司报价

阜新网站建设,seo外包公司报价,关键词排名优化易下拉效率,旅游景点网页设计作品Lookup Join 定义(支持 Batch\Streaming) Lookup Join 其实就是维表 Join,比如拿离线数仓来说,常常会有用户画像,设备画像等数据,而对应到实时数仓场景中,这种实时获取外部缓存的 Join 就叫做维…

Lookup Join 定义(支持 Batch\Streaming)

Lookup Join 其实就是维表 Join,比如拿离线数仓来说,常常会有用户画像,设备画像等数据,而对应到实时数仓场景中,这种实时获取外部缓存的 Join 就叫做维表 Join。

应用场景:

Lookup Join 是流与 Redis,Mysql,HBase 这种存储介质的 Join。Lookup 的意思就是实时查找,而实时的画像数据一般都是存储在 Redis,Mysql,HBase 中,这就是 Lookup Join 的由来;

实际案例

kafka流表和mysql维表的关联:
使用曝光用户日志流(show_log)关联用户画像维表(user_profile)关联到用户的维度之后,提供给下游计算分性别,年龄段的曝光用户数使用。

mysql端处理:

[root@spop007~]# mysql -uroot -p123456mysql> create database test;
mysql> CREATE TABLE `user_profile` (`user_id` varchar(100) NOT NULL,`age` varchar(100) DEFAULT NULL,`sex` varchar(100) DEFAULT NULL,PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
INSERT INTO test.user_profile (user_id,age,sex) VALUES('a','12-18','男'),('b','18-24','女'),('c','18-24','男');mysql>select * from test.user_profile; 

kafka端处理:

# 1.创建Kafka主题 test_k,指定分区数量为1,副本数量为1
kafka-topics.sh \
--create \
--topic test_k \
--bootstrap-server localhost:9092 \
--partitions 1 \
--replication-factor 1# 2.向 test_k 中写入JSON格式的样例数据
./kafka-console-producer.sh \
--topic test_k \
--bootstrap-server localhost:9092!!!!!这个错误是因为你使用的 Kafka 版本较旧,不支持 --bootstrap-server 参数。旧版本的 Kafka 使用
参数代替 --broker-list 
----------------------------------
./kafka-console-producer.sh \
--topic test_k \
--broker-list localhost:9092
-----------------------------------
#输入完上面脚本,直接粘贴复制json
{"log_id": "1", "timestamp": "1635696063","user_id":"a"}
{"log_id": "2", "timestamp": "1635696180","user_id":"b"}
{"log_id": "3", "timestamp": "1635696300","user_id":"c"}
{"log_id": "4", "timestamp": "1635696360","user_id":"b"}
{"log_id": "5", "timestamp": "1635696420","user_id":"c"}
{"log_id": "6", "timestamp": "1635696420","user_id":"d"}# 3.创建一个消费者组 group_k1 来消费 test_k 数据
kafka-console-consumer.sh \
--topic test_k \
--bootstrap-server localhost:9092 \
--group group_k1 \
--from-beginning

Flinksql代码:

前提:jdbc的jar包和mysql的驱动包,都需要事先放入$FLINK_HOME/lib目录下。flink-connector-jdbc-1.15.2.jarmysql-connector-java-8.0.29.jar
cd $FLINK_HOME/bin
./sql-client.sh    CREATE TABLE click_log_table (log_id BIGINT, `timestamp` bigint,user_id string,proctime AS PROCTIME()
) WITH ('connector' = 'kafka','topic' = 'test_k','properties.bootstrap.servers' = '192.168.77.88:9092','properties.group.id' = 'group_k1','scan.startup.mode' = 'earliest-offset','format' = 'json'
);CREATE TABLE user_profile (`user_id` string, `age` string,`sex` string
)
WITH ('connector' = 'jdbc','url' = 'jdbc:mysql://192.168.77.88:3306/test','table-name' = 'user_profile','username'='root','password'='root'
);SELECT s.log_id as log_id, s.`timestamp` as `timestamp`, s.user_id as user_id, s.proctime as proctime, u.sex as sex, u.age as age
FROM click_log_table AS s
LEFT JOIN user_profile FOR SYSTEM_TIME AS OF s.proctime AS u
ON s.user_id = u.user_id;查看flinksql输出窗口显示:log_id            timestamp                        user_id                proctime                            sex                            age1           1635696063                              a 2024-11-19 00:28:14.40412-182           1635696180                              b 2024-11-19 00:28:14.40718-243           1635696300                              c 2024-11-19 00:28:14.40918-244           1635696360                              b 2024-11-19 00:28:14.41218-245           1635696420                              c 2024-11-19 00:28:14.42218-246           1635696420                              d 2024-11-19 00:28:14.424                         (NULL)                         (NULL)

在这里插入图片描述

修改mysql的数据 查看动态表的变化
UPDATE user_profile
SET age = '99-99', sex = 0
WHERE user_id = "a";kafka端输入:
{"log_id": "11111111111", "timestamp": "1635696063","user_id":"a"}
结果对应下图一kafka端再输入:
{"log_id": "222222", "timestamp": "1635696063","user_id":"a"}
结果对应下图二

在这里插入图片描述
在这里插入图片描述


删除和新增有空再写总结: Lookup Join 使用left join关联 ,左表全部输出,右表能匹配上的输出,匹配不上的用null填充。
http://www.zhongyajixie.com/news/18275.html

相关文章:

  • 家装设计软件app免费郑州seo培训
  • 怎样做返利网站西安网络优化哪家好
  • 甘肃省第九建设集团网站搜索引擎优化的内容有哪些
  • 建设人大网站电子商务营销策略有哪些
  • 制作网页时若要使链接目标在新窗口中打开则应用选择seo在线优化工具
  • 网站制作 武汉正规的推文平台
  • 内江手机网站建设优化分析
  • 湖州做网站优化百度广告一天多少钱
  • 网站开发多少钱一天是seo是指搜索引擎优化
  • 中国有没有做的好的网站谷歌浏览器免费入口
  • 企迪网重庆百度推广排名优化
  • 做视频赚钱的国外网站seo网站优化培训怎么做
  • 求一外国h网站html网页完整代码作业
  • 做百度网站要注意什么关键词优化公司网站
  • 网站建设领导小组东莞百度快速优化排名
  • php大型网站开发视频教程西安百度推广公司
  • 淄博企业网站建设价格百度app登录
  • 如何做网站直播入口关键词歌词完整版
  • 软文推广法广州seo托管
  • 深圳网站制作hi0755如何让百度收录自己信息
  • 毕设做网站怎么命题广东公司搜索seo哪家强
  • 新余做网站百度电商推广
  • 本地网站模板修改企业网站策划
  • 西二旗网站建设百度小说搜索风云榜
  • 如何不用域名也可以做网站长沙正规seo优化价格
  • 西安公司网站设计费用抖音seo是什么意思
  • 网站怎么做支付宝支付接口制作网页用什么软件
  • 辽宁 政府网站信息内容建设搜索引擎免费登录入口
  • 不想花钱怎么做网站新产品推广方案策划
  • vs2017 做网站360优化大师官网