sqoop使用入门
引言 sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，...
hadoop生态圈各个组件简介
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop 的核心是 HDFS 和 Mapreduce，HDFS 还包括 YARN。 1，HDFS（hadoop分布式文件系...
hive中创建表的三种方式：直接建表，抽取（as）建表，like建表
Hive创建表的方式（默认路径/user/hive/warehouse，也可以location指定，主要针对external表） 1、使用create命令创建一个新表,带分区 CREATE TABLE `FDM_SOR.mytest_deptaddr`(...
Cron表达式范例：每隔5秒执行一次：*/5 * * * * ?
Cron表达式范例： 每隔5秒执行一次：*/5 * * * * ? 每隔1分钟执行一次：0 */1 * * * ? 每天23点执行一次：0 0 23 * * ? 每天凌晨1点执行一次：0 0 1 * * ? 每月1号凌晨1点执行一次：0 0 1 ...
在idea中配置 gitignore忽略文件（一）
针对一些不用每次提交的文件，设置不让其提交到git的本地仓库中。 #先在idea中安装gitignore插件 点击File->Settings ，选择plugs，在右边搜索：.ignore，点击Install，安装完成后就...
spring spring scheduled单线程和多线程使用过程中的大坑！！不看到时候绝对后悔！！
公司在使用定时任务的时候，使用的是spring scheduled。代码如下： @EnableSchedulingpublic class TaskFileScheduleService { @Scheduled(cron="0 */1 * * * ?") public void task1(...
maven 引入外部jar包的几种方式
一.dependency 本地jar包 <dependency> <groupId>com.im</groupId> <!--自定义--> <artifactId>sdk</artifactId> <!--自定义...
maven项目打包额外lib目录
maven项目依赖了几个额外的jar包一直都无法打进最终jar,不知道哪里出了问题.一直对这块不甚清楚,就大概梳理一下 默认打包方式: maven项目下,默认编译目录为 src/main/java和src/test/j...
spring springboot集成sqoop
sqoop我就不再这里给大家介绍了，能来到这里应该都知道sqoop了。目前我写了一个demo，springboot操作sqoop。废话不多说，直入主题。 pom文件<?xml version="1.0" encoding="UTF-8"?>&l...
spring SpringBoot集成Sqoop1.4.6实现关系型数据库与Hive数据库的数据相互同步
前戏在你服务器上安装测试好hive、hadoop、hbase、sqoop这些要用的工具（不会自行百度/Google），目前Sqoop有两个版本分别是sqoop1：1.4.x和sqoop2：1.99.x（这里为什么不选用sqoop2原因自行...