java java8下spark-streaming结合kafka编程（spark 2.3 kafka 0.10）
前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录...
java java基础知识3--如何获取资源文件（Java中获取资源文件的url）
java开发中，常见的resource文件有：.xml,.properties,.txt文件等，后台开发中经常用到读取资源文件，处理业务逻辑，然后返回结果。 获取资源文件的方法说明getResource()返回:URL ...
java Java中File使用--创建文件
1.错误示范1，输出的是创建文件夹 D:\filepath\test\test.txt。 public class FileTest { public static void main(String args) throws IOException { String fileName = "test.t...
java java中文件复制的4种方式
今天一个同事问我文件复制的问题，他一个100M的文件复制的指定目录下竟然成了1G多，吓我一跳，后来看了他的代码发现是自己通过字节流复制的，定义的字节数组很大，导致...
java java（包括springboot）读取resources下文件方式
1、使用项目内路径读取，该路径只在开发工具中显示，类似：src/main/resources/resource.properties。只能在开发工具中使用，部署之后无法读取。（不通用） File...
java JAVA获取不同操作系统的分隔符等参数
import java.util.Properties; public class SeparatorUtils { /* system properties to get separators */ static final Properties PROPERTIES = new Properties(System.getPro...
java 【DataX】Java中集成DataX开发
步骤 先说总体步骤： 下载源码，并编译到本地maven仓库； pom文件依赖datax-core和需要的reader和writer 环境变量设置datax.home(或者利用System#setProperty(String))和一些需要替换脚本...
java 在JAVA应用中远程提交MapReduce程序至Hadoop集群运行
由于在单独的JAVA应用中，程序没有指明集群的一些配置信息，导致程序不知道集群的位置以及其他的一些信息，故首先在配置类中，即Configuration，需要指明集群的位置，配置代码如下： Con...
java 重点--springboot 运行sqoopjob跨集群提交后报YarnRuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.sqoop.mapreduce.ExportOutputFormat not found
1.在运行springboot的电脑上的sqoop安装目录lib下添加sqoop.1.4.7.jar文件 2.把mysql驱动放入sqoop安装目录lib下
java java操作sqoop在本地测试正常打包发布到阿里云服务器报错
在做项目时，把sqoop和mapreduce集成到springboot中做数据抽取和计算，并打成jar包上传到服务器，项目是使用eureka进行注册提供服务，父项目下创建子模块，通过maven的package打包子模块。通...