青岛网站建设的流程有哪些网络科技有限公司
目录
- 概述
- 配置
- flink 配置
- kyuubi 配置
- kyuubi-defaults.conf
- kyuubi-env.sh
- hive
- 验证
- 启动kyuubi
- beeline 连接
- 使用hive catlog
- sql测试
- 结束
概述
flink 版本 1.17.1、kyuubi 1.8.0、hive 3.1.3、paimon 0.5
整合过程中，需要注意对应的版本。
注意以上版本
配置
kyuubi flink yarn session mode 官网文档
flink 配置
taskmanager.memory.process.size: 8094m
taskmanager.memory.managed.size: 128m
taskmanager.numberOfTaskSlots: 2
execution.target: yarn-session
# YARN Session Cluster application id.
yarn.application.id: application_1694575187997_0426
yarn.application.id: application_1694575187997_0426
kyuubi 配置
- 官网下载：https://kyuubi.apache.org/releases.html
- kyuubi conf下三个配置文件去 template后缀
- 配置 kyuubi-defaults.conf、kyuubi-env.sh
kyuubi-defaults.conf
此处配置引擎类型, flink 的模式，这两个重要的。
kyuubi.engine.type FLINK_SQL
flink.execution.target yarn-session
kyuubi.ha.namespace kyuubi
kyuubi-env.sh
没有采用 hadoop 集群默认的配置，java 及 flink 使用的都是定制的版本。
export JAVA_HOME=/data/jdk-11.0.20
export FLINK_HOME=/data/soft/flink-1.17.1
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=/data/hadoop/etc/hadoop
export FLINK_HADOOP_CLASSPATH=${HADOOP_HOME}/share/hadoop/client/hadoop-client-runtime-3.2.4.jar:${HADOOP_HOME}/share/hadoop/client/hadoop-client-api-3.2.4.jar
hive
生产上 paimon 的 catlog 信息是 hive 存储的。
CREATE CATALOG paimon_hive WITH ('type' = 'paimon','metastore' = 'hive','uri' = 'thrift://10.xx.xx.22:9083','warehouse' = 'hdfs:///data/hive/warehouse/paimon','default-database'='test'
);USE CATALOG paimon_hive;
验证
**注意：**下面启动相应的组件，进行相关的验证。
启动kyuubi
验证一下正常启动如下：
[root@ks2p-hadoop06 apache-kyuubi-1.8.0-bin]# netstat -nlp | grep :10009
tcp 0 0 10.xx.xx.22:10009 0.0.0.0:* LISTEN 218311/java
beeline 连接
[root@ks2p-hadoop06 apache-kyuubi-1.8.0-bin]# bin/beeline -u 'jdbc:hive2://10.xx.xx.22:10009/' -n root
2023-12-05 15:44:11.807 INFO KyuubiSessionManager-exec-pool: Thread-138 org.apache.kyuubi.operation.LaunchEngine: Processing root's query[a6dd7b3b-9c18-4171-9cac-c202f0b77054]: RUNNING_STATE -> FINISHED_STATE, time taken: 0.072 seconds
Connected to: Apache Flink (version 1.17.1)
Driver: Kyuubi Project Hive JDBC Client (version 1.8.0)
Beeline version 1.8.0 by Apache Kyuubi
0: jdbc:hive2://10.xx.xx.22:10009/>
使用hive catlog
sql测试
重要的步骤：
设置
flink为批模式
SET execution.runtime-mode=batch;
结束
kyuubi flink yarn session mode 至此结束，如有问题，欢迎评论区留言。