Hadoop生态圈技术概述
本文对hadoop生态圈技术做一个概要的介绍，文章中的前半部分的信息大多来自于网络，这里只是按照自己的学习思路整理了下。包括如下内容： hadoop诞生记 hadoop生态圈 常见组件简介 组件下...
实战1.Spark及其生态圈简介
1、简介 1.1 Spark简介 Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成...
Gradle 中 exclude group 关键字运用
开发中添加了一个第三方框架,结果框架里的 design 包为25,我的版本为24,由于网络原因,不想下载.但是或报错. Error:Failed to resolve: com.android.support:design:25.1.0 那么如何不...
spring springboot整合hive-jdbc遇到的坑
问题描述：springboot整合hive-jdbc时，pom文件加入hive-client依赖，eclipse启动，项目正常启动，访问正常。打成jar包放到服务器启动正常，访问报错如下： org.apache.jasper.JasperExcepti...
spring Hive学习系列：maven+springboot+CDH环境下，连接Hive进行操作
场景在当前项目中，因为之前使用数据库查询，而随着数据的增多，查询速度会越来越慢，所以需要使用Java来调用hive进行数据统计。本篇博文主要是使用springboot+hive来查询hive数据，并返回查...
启动thriftserver.sh
一：启动流程$ cd sbin$ ./start-thriftserver.shstarting org.apache.spark.sql.hive.thriftserver.HiveThriftServer2, logging to /home/hadoop/app/spark-2.4.0-bin-2.6.0-cdh5.7.0/logs/...
SparkSession、SparkContext、SQLContext和HiveContext之间的区别。
SparkContext 是什么? 驱动程序使用SparkContext与集群进行连接和通信，它可以帮助执行Spark任务，并与资源管理器(如YARN 或Mesos)进行协调。 使用SparkContext，可以访问其他上下文，比如S...
spring spring-boot集成spark并使用spark-sql
首先添加相关依赖： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" x...
spring springboot-集成spark
1.pom.xml <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artif...
spark远程调试代码报错 StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.126.128:7077
一、分析原因：查看服务器的远程端口绑定ip 这边显示绑定的是127.0.0.1：7077表示只能本地访问 正确的访问方式为：局域网Ip:7077 二、查看启动脚本设置： &nb...