spring springboot整合hive-jdbc遇到的坑
问题描述：springboot整合hive-jdbc时，pom文件加入hive-client依赖，eclipse启动，项目正常启动，访问正常。打成jar包放到服务器启动正常，访问报错如下： org.apache.jasper.JasperExcepti...
spring Hive学习系列：maven+springboot+CDH环境下，连接Hive进行操作
场景在当前项目中，因为之前使用数据库查询，而随着数据的增多，查询速度会越来越慢，所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据，并返回查...
启动thriftserver.sh
一：启动流程$ cd sbin$ ./start-thriftserver.shstarting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /home/hadoop/app/spark-2.4.0-bin-2.6.0-cdh5.7.0/logs/...
SparkSession、SparkContext、SQLContext和HiveContext之间的区别。
SparkContext 是什么? 驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。 使用SparkContext，可以访问其他上下文，比如S...
spring spring-boot集成spark并使用spark-sql
首先添加相关依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
spring springboot-集成spark
1.pom.xml <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artif...
spark远程调试代码报错 StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.126.128:7077
一、分析原因：查看服务器的远程端口绑定ip 这边显示绑定的是127.0.0.1：7077表示只能本地访问 正确的访问方式为：局域网Ip:7077 二、查看启动脚本设置： &nb...
java MapReduce wordcount 输入路径为目录 java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
之前windows下执行wordcount都正常,今天执行的时候指定的输入路径是文件夹,然后就报了如题的错误,把输入路径改成文件后是正常的,也就是说目前的wordcount无法对多个文件操作 报的异常是get...
SparkSQL 运行异常：org/codehaus/janino/InternalCompilerException 执行SparkSQL时出现异常：
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafePr...
build.gradle中引入jar
只需在 dependencies{}中添加： compile fileTree(include: , dir: 'libs')