apache Apache KUDU 安装搭建
Apache KUDU 安装搭建节点规划节点 角色node1 Master Server、Tablet Servernode2 Master Server、Tablet Servernode3 Kudu Client、Tablet Servernode4 Master Server配置NTP时钟同步所有结...
Hive数据导入导出的几种方式
一，Hive数据导入的几种方式 首先列出讲述下面几种导入方式的数据和hive表。 导入： 本地文件导入到Hive表； Hive表导入到Hive表; HDFS文件导入到Hive表; 创建表的过程中从其他表导入; 通过...
csv数据导入kudu
1. csv文件另存为txt文件2. hive中建临时表create table test_table_1( id STRING, name STRING) row format delimited fields terminated by '\t'STORED AS TEXTFILE; 3. 加载txt数...
spring springboot整合mybatis采用druid连接池对mysql，hive双数据源整合并打包
准备maven依赖,包括mybatis，springboot，大数据连接，MySQL依赖，druid等 <!---配置CDH仓库地址--><repositories> <repository> <id>cloudera&l...
jdbc JDBCTemplate的使用
一、jar包的准备 还需要c3p0相关的包 如果使用的是 c3p0 jdbcTemplate 相关jar包5个 + c3p0 2个 + MySql驱动 1个 = 8个jar 如果使用的是 druid jdbcTemplate 相关jar包5个 + druid 1个 + MyS...
spring SpringBoot集成Sqoop1.4.6实现关系型数据库与Hive数据库的数据相互同步
在你服务器上安装测试好hive、hadoop、hbase、sqoop这些要用的工具（不会自行百度/Google），目前Sqoop有两个版本分别是sqoop1：1.4.x和sqoop2：1.99.x（这里为什么不选用sqoop2原因自行百度...
azkaban使用--schedule定时任务
1.schedule azkaban的schedule内部就是集成的quartz,而 quartz语法就是沿用linux crontab，crontab可照本文第2点 此处以此project(azkaban使用--传入动态参数)为例，设置为每五分钟跑一次 ...
sqoop使用入门
引言 sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，...
hadoop生态圈各个组件简介
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop 的核心是 HDFS 和 Mapreduce，HDFS 还包括 YARN。 1，HDFS（hadoop分布式文件系...
hive中创建表的三种方式：直接建表，抽取（as）建表，like建表
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表） 1、使用create命令创建一个新表,带分区 CREATE TABLE `FDM_SOR.mytest_deptaddr`(...