maven打完jar包之后将jar包放到指定位置总结
先赞后看，此生必赚 前言maven打完jar包之后，默认放置位置是target目录 有时候项目需要，如何将jar包放置到指定的目录呢？ 方式一：通过maven-jar-plugin指定outputDirectory输出路径 可以...
spring springboot基于spark-launcher构建rest api远程提交spark任务
https://fiend.blog.csdn.net/article/details/106249836
CountDownLatch的理解和使用
在笔者想要了解Thrift时候，找到一个博主写的系统间通信技术的架构设计，在了解和学习的过程中遇到很多小问题和基础知识，自己还是不够清楚，就查询和总结下。 因为笔者也都是从网上找的一...
Hive优化（整理版）
1. 概述 1.1 hive的特征： 可以通过SQL轻松访问数据的工具，从而实现数据仓库任务，如提取/转换/加载（ETL），报告和数据分析； 它可以使已经存储的数据结构化； 可以直接访问存储在Apache ...
Impala集成C3P0的连接方式
1. 概述 Impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的...
基础 Spark性能优化指南——基础篇
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计...
Quartz应用与集群原理分析
一、问题背景 美团CRM系统中每天有大量的后台任务需要调度执行，如构建索引、统计报表、周期同步数据等等，要求任务调度系统具备高可用性、负载均衡特性，可以管理并监控任务的执行流程，以...
Hive SQL的编译过程
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能...
大众点评订单系统分库分表实践
原大众点评的订单单表早就已经突破两百G，由于查询维度较多，即使加了两个从库，优化索引，仍然存在很多查询不理想的情况。去年大量抢购活动的开展，使数据库达到瓶颈，应用只能通过限速、...
Spark性能优化指南——高级篇
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。 调优...