Hadoop集群的JobHistoryServer详解(转载）
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下...
YARN配置
说明 最近关于YARN的配置，尤其是调试日志的信息，总是记不住，留个记录，方便以后查看。 转自董西成的博客,在此感谢董西成老师的分享。 如需转载，请注明出处，链接列表如下 RM与NM相关参...
spring springboot+kafka+sparkstreaming 生产及消费数据-超简单实例
springboot+kafka+sparkstreaming 生产及消费数据-超简单实例 kafka生产者实例： import org.apache.kafka.clients.producer.Callback;import org.apache.kafka.clients.producer.KafkaProd...
java java8下spark-streaming结合kafka编程（spark 2.3 kafka 0.10）
前面有说道spark-streaming的简单demo，也有说到kafka成功跑通的例子，这里就结合二者，也是常用的使用之一。 1.相关组件版本 首先确认版本，因为跟之前的版本有些不一样，所以才有必要记录...
kafka Spark 2.1.2 Streaming + Kafka 1.1.0 -- 在IDEA中通过Maven创建Spark项目
一、开发环境中需要安装和配置如下安装JDK，配置JDK环境变量(jdk1.8)安装Scala，配置JDK环境变量(scala2.11.8)最好安装一个Maven,虽然Idea已经集成自带的有Maven测试环境中已经安装有Zookeep...
java Kafka学习（三）——Java工具类、Springboot集成批量消费、SparkStreaming集成
前言本次记录全部来自工作学习中，总结和测试。并非生产环境，仅供参考使用！ 提示：以下是本篇文章正文内容，下面案例可供参考 一、Java中工具类常用于测试使用~ 1. 添加maven依赖<depen...
CentOS7查看和关闭防火墙
CentOS 7.0默认使用的是firewall作为防火墙 查看防火墙状态 firewall-cmd --state 1 停止firewall systemctl stop firewalld.service 1 禁止firewall开机启动 systemctl disable fi...
linux Linux查看磁盘使用情况命令
一.统计磁盘整体情况，包括磁盘大小，已使用，可用。命令“df” 1.命令"df -lh"使用这个命令会更清楚磁盘使用情况 2.命令"df -a"是全部的文件系统的使用情况 3.命令"df ...
linux 关于linux系统数据盘合并到系统盘（图文教程）
查看一下，当前命令： df -h # df -h Filesystem Size Used...