spark常见问题处理
1、spark thriftserver报以下错误，其他诸如hive/sparksql等方式均正常 ERROR ActorSystemImpl: Uncaught fatal error from thread shutting down ActorSystem java.lang.OutOfMemoryErr...
org.apache.spark.SparkException: Task not serializable
前言 本文隶属于专栏《Spark异常问题汇总》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见 Spark异常问题汇总 ...
如何查看Spark日志与排查报错问题
一、各界面说明 1.1、查看YARN页面的driver日志 可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面...
Spark常见错误剖析与应对策略
问题一： 日志中出现：org.apache.spark.shuffle.MetadataFetchFailedException: Missing an output location for shuffle 0 原因分析： shuffle分为shuffle write和shuffle read两部...
关于Eclipse编译运行MapReduce程序报错问题的解决
根据http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/进行下载安装 问题1：安装好后，关闭welcome界面后，没有DFS Location。经查询，是Hadoop-Eclipse-Plugin插件安装失...
Hadoop安装好之后使用jar运行mapreduce内置程序的时候报错
//20210309 写在前面：安装好hadoop之后，试着运行mapreduce内置的pi程序，发现报错，在此记录一下排除并修复bug的过程 正文 问题起因：mapreduce运行内置pi程序的时候报出如下错...
Hadoop异常解决：本地MapReduce程序无法和云端DataNode通信
问题 在本地写了一个Java程序，操作云端的HDFS文件系统，执行ls没有问题。 在本地写了另外一个Java程序，连接云端的HDFS做MapReduce操作，报错如下。 片段1：在开始做map 0% reduce 0%操...
windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法
按此文章《Hadoop集群（第7期）_Eclipse开发环境设置》进行MapReduce开发环境搭建的过程中遇到一些问题，饶了一些弯路，解决办法记录在此： 文档目的： 记录windows环境下Eclipse开发MapRe...
hive跑mapreduce报java.lang.RuntimeException: Error in configuring object
写于2016.7月 最近项目需要在hbase上做统计分析，在本机上装了hive，结果跑小批量数据sum时报错： hive> select count(*) from page_view; Total jobs = 1 Launching Job 1 out of 1...
MapReduce
一、MapReduce概念知识 1、MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Red...