java 解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
1、首先在我们下载.Hadoop bin目录下有hadoop.dll和winutils.exe 我们需要把hadoop.dll拷贝到系统盘：c:\windows\system32下，如图所示： 重新启动idea重新 &...
Window 安装Sqoop 环境
第一步：下载Sqoop，官网下载地址：http://mirror.bit.edu.cn/apache/sqoop/ 第二步：将下载Sqoop.tar.gz 解压至指定目录（C:\sqoop） 第三步：添加SQOOP_HOME 环境变...
CDH环境搭建及部署
CDH 部署主要有以下几个部分：（以cdh5.1.3为例，系统环境为centos 6.5） 测试环境建议以root用户建立,可以减少一些权限的设置 1 设置集群环境，比如安装jdk，在作为master机...
mysql 用sqoop将mysql的数据导入到hive表中
1：先将mysql一张表的数据用sqoop导入到hdfs中 准备一张表 需求 将 bbs_product 表中的前100条数据导 导出来 只要id brand_id和 name 这3个字段 &...
CentOS清除用户登录记录和命令历史方法
清除登陆系统成功的记录 # echo > /var/log/wtmp //此文件默认打开时乱码，可查到ip等信息 # last //此时即查不到用户登录信息 清除登陆系统失败的记录 # echo ...
linux linux文件传输大小限制配置,【Linux】一些文件限制配置
linux资源限制配置文件是/etc/security/limits.conf；限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使...
在mobaxterm内连接deb使用lrzsz进行文件传输
lrzsz随手传文件还是挺方便的。 1.apt install lrzsz 2.rz 3.右键 或者control右键选择 send file useing Z-modem 选择文件上传 接收同理 转载...
mysql 利用sqoop将mysql的数据表结构导入到hive中，并且新建表格
#!/bin/bashhive -e " drop table if exists dim.media_video"sqoop create-hive-table --connect jdbc:mysql://hadoop103:3306/autopai-content --username root --password 000000 --tab...
mysql 利用sqoop将hive数据导入导出数据到mysql
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题...
linux Linux 安装ifconfig命令
安装linux系统的时候选择mini安装,这种情况下输入ifconfig命令是无效的,需要进行手动安装; 当然Linux自带yum命令,保证可以连接网络,输入命令: yum install net-tools