场景
在当前项目中,因为之前使用数据库查询,而随着数据的增多,查询速度会越来越慢,所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据,并返回查询的数据结果。
环境
软件 版本
springboot 2.1.8.RELEASE
CDH 5.15.1
Hive 1.1.0
正文
确定Hive版本
登录服务器控制台,我们可以使用命令:
hive –version
来查询hive的具体版本,如下图:
新建项目,并引入hive-jdbc依赖
新建springboot项目,并引入hive-jdbc依赖。目前在maven hive-jdbc仓库中,最新的版本是3.1.2。但是因为我们这里的环境版本是1.1.0,所以要选择1.1.0版本,不然就会代码运行的时候,就会报错。pom.xml引入依赖如下:
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>1.1.0</version>
</dependency>
一般引入这个依赖就足够了,在本文的样例代码中,跑起来是没有问题的。
demo示例
因为是demo示例,所以这里屏蔽了环境变量取参等可扩展部分,使用一个main方法来调用我们的hive查询相关的方法。demo代码如下:
@SpringBootApplication
@Slf4j
public class AnalysisApp implements CommandLineRunner {
private static String driverName = “org.apache.hive.jdbc.HiveDriver”;
public static void main(String[] args) {
SpringApplication.run(AnalysisApp.class, args);
}
@Override
public void run(String… args) throws Exception {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
e.printStackTrace();
System.exit(1);
}
Connection con = DriverManager.getConnection(“jdbc:hive2://datanode02:10000/test”, “hive”, “”);
Statement stmt = con.createStatement();
String tableName = “testHiveDriverTable”;
log.info(“删除表”);
stmt.execute(“drop table if exists ” + tableName);
stmt.execute(“create table ” + tableName + ” (key int, value string)”);
// show tables
String sql = “show tables ‘” + tableName + “‘”;
log.info(“Running: ” + sql);
ResultSet res = stmt.executeQuery(sql);
if (res.next()) {
log.info(res.getString(1));
}
// describe table
sql = “describe ” + tableName;
log.info(“Running: ” + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
log.info(res.getString(1) + “\t” + res.getString(2));
}
// select * query
sql = “select * from ” + tableName;
log.info(“Running: ” + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
log.info(String.valueOf(res.getInt(1)) + “\t” + res.getString(2));
}
// regular hive query
sql = “select count(1) from ” + tableName;
log.info(“Running: ” + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
log.info(res.getString(1));
}
}
}
在官网Apache Hive HiveClient提供的demo,里面引用的驱动类和我本文的驱动类是不同的,这个是因为引用的jar包是不同的,所以才存在差异。所以,如果运行报错,提示驱动类不存在,则需要到自己引用的jar包里面看看使用的驱动类具体路径是什么。
结果
把代码复制到自己的项目中,执行之后,控制台结果如下:
2020-06-08 13:45:01.457 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : Started AnalysisApp in 24.643 seconds (JVM running for 38.374)
2020-06-08 13:45:01.494 INFO 4540 — [ main] org.apache.hive.jdbc.Utils : Supplied authorities: datanode02:10000
2020-06-08 13:45:01.495 INFO 4540 — [ main] org.apache.hive.jdbc.Utils : Resolved authority: datanode02:10000
2020-06-08 13:45:01.620 INFO 4540 — [ main] org.apache.hive.jdbc.HiveConnection : Will try to open client transport with JDBC Uri: jdbc:hive2://datanode02:10000/test
2020-06-08 13:45:01.966 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : 删除表
2020-06-08 13:45:02.764 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : Running: show tables ‘testHiveDriverTable’
2020-06-08 13:45:03.153 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : testhivedrivertable
2020-06-08 13:45:03.153 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : Running: describe testHiveDriverTable
2020-06-08 13:45:03.418 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : key int
2020-06-08 13:45:03.418 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : value string
2020-06-08 13:45:03.419 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : Running: select * from testHiveDriverTable
2020-06-08 13:45:03.723 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : Running: select count(1) from testHiveDriverTable
2020-06-08 13:45:26.323 INFO 4540 — [ main] c.c.y.b.precision.analysis.AnalysisApp : 0
总结
遇到一个新的需求,最好到官网去看看示例。如果不够详细,也可以搜索一下对应的博客。两者结合,一般可以解决很多问题了。
————————————————
版权声明:本文为CSDN博主「枫夜求索阁」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u013084266/article/details/106571048