Zookeeper单机版安装与配置
一、下载安装 1、下载 https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz 2、安装 tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz 3、...
linux Linux配置ntp时间服务器（全）
时间服务器作用： 大数据产生与处理系统是各种计算设备集群的，计算设备将统一、同步的标准时间用于记录各种事件发生时序， 如E-MAIL信息、文件创建和访问时间、数据库处理时间等。 大数据系...
ZooKeeper设置开机启动
1 在init.d目录下新建脚本文件 进入到/etc/rc.d/init.d目录下，命令是： cd /etc/rc.d/init.d 新建一个...
kafka CentOS 7 安装配置 kafka，并配置开机自启（systemctl）
安装 kafka 需要先安装 jdk。一、下载官网：http://kafka.apache.org/downloads.html 二、安装 安装参考：https://segmentfault.com/a/1190000012990954 1. 解压安装（...
chkconfig
有时候为了方便管理，我们常常喜欢在Linux中将之安装为服务，然后就可以使用服务来管理。 但是当我们运行安装服务的命令时候，假设服务名为myservice #chkconfig --add myservice 常常会...
kafka kafka官方的kafka-server-start.sh不能关闭kafka进程解决办法
vi kafka-server-stop.sh 把PIDS=$(ps ax | grep -i 'kafka\.Kafka' | grep java | grep -v grep | awk '{print $1}')这行代码修改为 PIDS=$(jps -lm | grep -i 'kafka.Kafka' | awk...
linux linux突然所有命令都失效了，显示bash: xxxxx: command not found...
出现这个问题是因为系统的环境变量没有正确配置造成的，造成这个原因有很多，比如系统升级，比如不正当操作。解决的方式有两种。 其一：直接在linux命...
sparkStreaming结合SparkSql实例
SparkSQL结合SparkStreaming的使用 Flume+Kafka+SparkStreaming已经发展为一个比较成熟的实时日志收集与计算架构，利用Kafka，即可以支持将用于离线分析的数据流到HDFS，又可以同时支撑多...
spring spring boot 集成spark-streaming-kafka
主要思路：SparkContext由spring容器管理，在spring容器启动完毕后，执行spark-streaming-kafka，获取数据并处理。 1.spring容器中初始化SparkContext，代码片段如下： @Bean @ConditionalO...
spring 使用springboot构建rest api远程提交spark任务
github代码链接：github地址 1. spark集群及版本信息服务器版本：centos7hadoop版本：2.8.3spark版本：2.3.3使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上...