Hadoop任务调度---Azkaban 简单入门
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使...
spring SpringBoot整合Mybatis连接Impala入门案例详解
前期准备创建一个SpringBoot项目，可以先不选择依赖，待会再pom.xml里面再导入相应的依赖。 项目结构 配置环境导入包依赖pom.xmlspring...
java Java代码执行sqoop抽取动作
执行从MySQL数据库导出数据到HDFS上。 执行前需准备： 在eclipse中写的代码，所以，又新加了sqoop-1.4.6-cdh5.5.2.jar放入原有的hadoop项目中，否则会有编译错误。 同时，...
java 解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
1、首先在我们下载.Hadoop bin目录下有hadoop.dll和winutils.exe 我们需要把hadoop.dll拷贝到系统盘：c:\windows\system32下，如图所示： 重新启动idea重新 &...
Window 安装Sqoop 环境
第一步：下载Sqoop，官网下载地址：http://mirror.bit.edu.cn/apache/sqoop/ 第二步：将下载Sqoop.tar.gz 解压至指定目录（C:\sqoop） 第三步：添加SQOOP_HOME 环境变...
CDH环境搭建及部署
CDH 部署主要有以下几个部分：（以cdh5.1.3为例，系统环境为centos 6.5） 测试环境建议以root用户建立,可以减少一些权限的设置 1 设置集群环境，比如安装jdk，在作为master机...
mysql 用sqoop将mysql的数据导入到hive表中
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 &...
CentOS清除用户登录记录和命令历史方法
清除登陆系统成功的记录 # echo > /var/log/wtmp //此文件默认打开时乱码，可查到ip等信息 # last //此时即查不到用户登录信息 清除登陆系统失败的记录 # echo ...
linux linux文件传输大小限制配置,【Linux】一些文件限制配置
linux资源限制配置文件是/etc/security/limits.conf；限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使...
在mobaxterm内连接deb使用lrzsz进行文件传输
lrzsz随手传文件还是挺方便的。 1.apt install lrzsz 2.rz 3.右键 或者control右键选择 send file useing Z-modem 选择文件上传 接收同理 转载...