apache Spark-Hive中出现 access denied org.apache.derby.security.SystemPermission( "engine", "usederbyinternals" )问题
参考： http://db.apache.org/derby/releases/release-10.12.1.1.cgi https://blog.csdn.net/hxl122lcq/article/details/7782940 修改 D:\Java\Java8X64\jre1.8.0_181\lib\security\...
java java集成sqoop -重点（自测通过）
1.添加依赖 （注意sqoop1.4.7不能直接通过maven下，需要去下载jar放到工程里，然后本地导入） <dependency> <groupId>org.apache.hadoop</groupId> ...
hive中的更新或者新建表impala 不能实时更新
hive中的更新或者新建表impala 不能实时更新不积跬步无以至千里 Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中...
Sqoop 使用详解（内含对官方文档的解析）
Sqoop 是 Cloudera 公司创造的一个数据同步工具，现在已经完全开源了。 目前已经是 hadoop 生态环境中数据迁移的首选，另外还有 ali 开发的 DataX 属于同类型工具，由于社区的广泛使用...
Sqoop简介（1.4.7 最新版本）
Sqoop简介1. 背景1.1 概览 在大数据处理业务框架中，需要处理的数据一般是2个来源（行为日志和业务数据），有些公司如果有python部门，就需要加上python数据这一个。python数据因为各个公司...
hadoop-2.10.0安装hive-2.3.6
公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：h...
mysql Centos7安装mysql8.0教程
准备工作1．查看是否有安装过mysqlrpm -qa | grep -i mysql2．删除mysqlyum -y remove MySQL-*一般用rpm -e 的命令删除mysql,这样表面上删除了mysql,可是mysql的一些残余程序仍然存在,并且通...
linux linux关闭防火墙
1、首先打开xshell软件连接到centos主机，使用命令“systemctl status firewalld.service”查看防火墙状态： 2、按下回车键执行后，可以看到标注的“act...
hive 初始化 时间问题 The server time zone value 'EDT' is unrecognized
初始化 hive 执行: schematool -dbType mysql -initSchema 出现 :The server time zone value 'EDT' is unrecognized 原因: MySQL 和 Linux 时区设置...
kudu-安装
1. 环境准备 CentOS7 JDK8 2. 下载kudu仓库文件 http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/cloudera-kudu.repo 3. 安装yum仓库 wget http://archive.cloudera.com/kud...