Hive中生成随机唯一标识ID的方法
HIVE中处理的数据往往比较多，在处理数据的时候希望给处理得到的数据一个ID标识，这时候可以用到UUID。 UUID的算法的核心思想是结合机器的网卡、当地时间、一个随即数来生成UUID。从理论上...
hadoop之Hive部署
Hive概述： Hive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。 其在Hadoop的架构体系中承担了一个SQL解析的过程，它提供...
java ubuntu安装与卸载java
安装java 查看java是否安装：java -version java版本： 较新的版本是java11，若要安装执行命令：sudo apt install default-jre 我选择的是java8，因为此版本是得到广泛支持的。安装命令...
安装伪分布的Hadoop时SHUTDOWN_MSG: Shutting down NameNode at xxx并不一定是namenode格式化失败
在第一次安装hadoop集群环境时，很多教程会有说 所以在输入# bin/hdfs namenode -format后，整个日志的最后会出现也就认为是自己操作出问题了。BUT！！！信息中隐藏着 也就是...
SQOOP 解决import时字段为NULL值的情况
想必有些朋友刚开始接触sqoop时，在从mysql(或者别的RDBMS)导入数据到hdfs后会发现原来在mysql中字段值明明是NULL, 为什么到hive查询后 where field is null 会没有...
mysql 用sqoop从hive读取数据到MySQL是无法导入null值的解决办法
1.当出现java.lang.RuntimeException: Can't parse input data: '\N'这个错误或者是报什么NumberFormalt异常的话时候，说明你的hive表中有空值null，MySQL无法识别导入语句为：bin/sqoop exp...
大数据 大数据开发之Sqoop篇----sqoop export
sqoop export是指将HDFS上的数据导出到RDBMS上，而在RDBMS上目标表要已经存在了。 输入格式一般是：sqoop export command args / sqoop-export command args 一般的参数(这里我只列出一些我...
java Sqoop 1.4.7 Java 开发
Java 1.8 +Sqoop 1.4.7本文主要是备注，最近在做这方面的工作，发现网上的文档比较少，mark下。 Maven 引用数据库连接的Jar包common-lang3avro以及avro-mapredhadoop-hdfs,hadoop-commonmapr...
hive 安装警告 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
解决方法： 在0.10 0.11或者之后的HIVE版本 hive.metastore.local 属性不再使用。 在配置文件里面： <property> <name>hive.metastore.local</name&g...
mysql sqoop本地调用远程的hive和远程mysql(重点)
加入hive-cli依赖，在classpath下加入hive-site.xml