spring Springboot集成Netty

一.依赖 <!-- https://mvnrepository.com/artifact/io.netty/netty-all --> <dependency> <groupId>io.netty</groupId> <artifactId>netty-all<...

2022-12-10 299 阅读

spring springboot基于spark-launcher构建rest api远程提交spark任务

https://fiend.blog.csdn.net/article/details/106249836

2022-12-10 299 阅读

spring 使用springboot构建rest api远程提交spark任务

github代码链接:github地址 1. spark集群及版本信息服务器版本:centos7hadoop版本:2.8.3spark版本:2.3.3使用springboot构建rest api远程提交spark任务,将数据库中的表数据存储到hdfs上...

2022-12-10 489 阅读

spring spring boot 集成spark-streaming-kafka

主要思路:SparkContext由spring容器管理,在spring容器启动完毕后,执行spark-streaming-kafka,获取数据并处理。 1.spring容器中初始化SparkContext,代码片段如下: @Bean @ConditionalO...

2022-12-10 547 阅读

java Kafka学习(三)——Java工具类、Springboot集成批量消费、SparkStreaming集成

前言本次记录全部来自工作学习中,总结和测试。并非生产环境,仅供参考使用! 提示:以下是本篇文章正文内容,下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<depen...

2022-12-10 652 阅读

spring springboot+kafka+sparkstreaming 生产及消费数据-超简单实例

springboot+kafka+sparkstreaming 生产及消费数据-超简单实例 kafka生产者实例: import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProd...

2022-12-10 476 阅读

spring springboot启动时执行任务CommandLineRunner

# SpringBoot中CommandLineRunner的作用> 平常开发中有可能需要实现在项目启动后执行的功能,SpringBoot提供的一种简单的实现方案就是添加一个model并实现CommandLineRunner接口,实现功...

2022-12-10 272 阅读

java java(包括springboot)读取resources下文件方式

      1、使用项目内路径读取,该路径只在开发工具中显示,类似:src/main/resources/resource.properties。只能在开发工具中使用,部署之后无法读取。(不通用)   File...

2022-12-10 286 阅读

spring SpringBoot在window和linux都可以获取resource路径的方法

// 获取项目根路径 final File basePath = new File(ResourceUtils.getURL("classpath:").getPath()); 这个再Windows下是可以的,但是在Linux (centos7)下是不行的,正确的获取方法: &nbs...

2022-12-10 579 阅读

spring datax安装 及 springboot整合 datax

换了新工作,Java出身的我,弄点大数据的活. datax安装 环境要求1.jdk1.82.python 源码地址:https://github.com/alibaba/DataX 这里我下载的是最新版本的 DataX3.0 。下载地址为:http://data...

2022-12-10 812 阅读