spring springboot指定配置文件启动
spring-boot:run启动时，指定spring.profiles.active 例如有如下几个配置文件 application.properties中配有 spring.profiles.active=dev application-dev.properties 中配有 server.por...
java java操作sqoop在本地测试正常打包发布到阿里云服务器报错
在做项目时，把sqoop和mapreduce集成到springboot中做数据抽取和计算，并打成jar包上传到服务器，项目是使用eureka进行注册提供服务，父项目下创建子模块，通过maven的package打包子模块。通...
使用IDEA进行远程调试
前言 对于分布式系统的调试不知道大家有什么好的方法。对于我来说，在知道远程调试这个方法之前就是在代码中打各种log，然后重新部署，上线，调试，这样比较费时，有什么更好的办法呢？ 有...
sqoop打包后报错找不到com.cloudera.sqoop.io--重点
修改sqoop-1.4.7.jar为 hadoop-common-sqoop-1.4.7.jar并放入/usr/local/src/hadoop-2.10.1/share/hadoop/common/
sqoop job作业介绍及其操作
sqoop job作业介绍语法以下是创建Sqoop作业的语法。 $ sqoop job (generic-args) (job-args) (subtool-args)] $ sqoop-job (generic-args) (job-args) (subtool-args)] 创建作业(...
java 重点--springboot 运行sqoopjob跨集群提交后报YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.sqoop.mapreduce.ExportOutputFormat not found
1.在运行springboot的电脑上的sqoop安装目录lib下添加sqoop.1.4.7.jar文件 2.把mysql驱动放入sqoop安装目录lib下
Hadoop提交作业流程
@PostMapping("/login") public ResultVOregister( StudentWechat studentWechat ){ log.info("授权登录信息： {}", JSON.toJSONString(studentWechat)); Map tokenMap =stu...
spring linux 运行springboot sqoop项目
0.安装jdk并设置环境变量，classpath export JAVA_HOME=/usr/local/src/jdk8export PATH=$PATH:$JAVA_HOME/binexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/...
Hadoop详细配置
目录 第1章 概要说明4 1.1 Hadoop是什么?4 1.2 为什么选择CDH版本?4 1.3 集群配置环境4 1.4 网络结构图5 第2章 安装hadoop环境6 2.1 准备安装包6 2.2&n...
教你一步搭建Flume分布式日志系统
在前篇几十条业务线日志系统如何收集处理？中已经介绍了Flume的众多应用场景，那此篇中先介绍如何搭建单机版日志系统。 环境 CentOS7.0 Java1.8 下载 官...