大数据 深入浅出Apache DolphinScheduler
Apache DolphinScheduler 是一个大数据调度任务框架。从当前的CSDN的GitCode的热度来看，其在二月份排名第6位。那是相当的热门的。Apache DolphinScheduler 是Apache旗下的开源项目，目前已...
大数据 大数据架构：全网最全大数据架构生态
1、数据采集框架 ----------------------------------------------------------------------2、数据存储框架-----------------------------------------------------...
大数据 kettle 教程（一）：简介及入门「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。介绍kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二...
大数据 ETL转换工具 kettle——spoon 安装 使用
一、 kettle--spoon的安装kettle安装官网https://sourceforge.net/projects/pentaho/files/Data%20Integration/下载完解压就好。然后按以下步骤使用即可。二、使用1、启动进入安装路径/data-...
大数据 记一次 基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群 spark-shell 运行 WordCount
一、集群搭建基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群https://blog.csdn.net/llwy1428/article/details/111569392官网教程http://spark.apache.org/docs/latest/quick-start.html...
大数据 【Spark】Spark On Yarn 安装
一、下载和解压https://archive.apache.org/dist/spark/spark-2.3.1/tar zxv -f spark-2.3.1-bin-hadoop2.7.tgz mv spark-2.3.1-bin-hadoop2.7/ spark-2.3.1二、...
大数据 Hadoop之Spark集群安装配置
1. 安装模式 1. 本地模式 仅在一台计算机上安装Spark 2. 集群模式 Standalone 独立部署模式，该模式下系统采用Spark自带的简...
大数据 （五）springboot 配置多数据源连接mysql和hive
项目结构如下mysql 执行如下建表语句，并插入一条测试数据CREATE TABLE `user` ( `id` int(11) NOT NULL, `name` varchar(25...
大数据 使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)解决方案
使用hiveserver2时通过beeline -u jdbc:hive2://hadoop-master:21000 -n hadoop 连接hive执行insert语句报错 hadoop is not allowed to impersonate hadoop (state=08S01,co...
java 大数据 - Java实现提交作业到Hadoop集群
windows环境IntelliJ IDEAJDK1.8hadoop-2.8.5.tar.gz从官网上下载解压配置JDK，Hadoop https://hadoop.apache.org/releases.html 下载2.8.5版本Binary download并解压到自己喜欢的目录下。配...