【Oozie学习之一】Oozie
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 CM5.4 同类产品：Azkaban 一、简介Oozie由Cloudera公司贡献给Apac...
mysql Spark SQL实战：使用Spark SQL 连接hive ，将统计结果存储到 mysql中
1.需求：使用Spark SQL 连接hive ，读取数据，将统计结果存储到 mysql中 2.将写好的代码打包上传的集群，然后提交spark运行，前提是hive，HDFS已经启动3.代码：(1)pom.xml<dependency>...
spark sql/hive小文件问题
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Pr...
Druid连接池默认配置和坑
一、公司默认配置 ds_0: !!com.alibaba.druid.pool.DruidDataSource driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://{host}:{port}/{schema} username: usernam...
诡异的druid链接池链接断开故障经验总结
背景 最近在陆续做机房升级相关工作，配合DBA对产线数据库链接方式做个调整，将原来直接链接读库的地址切换到统一的读负载均衡的代理 haproxy 上，方便机柜和服务器的搬迁。切换之...
连接池中的maxIdle,MaxActive,maxWait参数
name：表示你的连接池的名称也就是你要访问连接池的地址 auth：是连接池管理权属性，Container表示容器管理 type：是对象的类型 driverClassName：是数据库驱动的名称 url：是数据库的地址 ...
DRUID SOCKET TIMEOUT超时15分钟(转载)
背景 在应用端通过mybatis的interceptor自定义Plugin拦截Executor, 统计输出sql的执行耗时。 今天生产发生一个很奇怪的问题： 莫名其妙卡顿15分钟+，其后正常返回sql正常结果！ 使用dr...
jdbc 【转】深入理解JDBC的超时设置
原文:http://www.cubrid.org/blog/dev-platform/understanding-jdbc-internals-and-timeout-configuration/ 恰当的JDBC超时设置能够有效地减少服务失效的时间。本文将对数据库的各种超时设...
连接池的作用及讲解
连接池的作用就是为了提高性能。 连接池的作用：连接池是将已经创建好的连接保存在池中，当有请求来时，直接使用已经创建好的连接对数据库进行访问。这样省略了创建连接和销毁连接的过程。这...
windows jetbrains toolbox 无法修改应用安装目录（应用正在运行）的解决方案
打开 jetbrains toolbook安装目录/.settings.json 添加一行 "install_location": 指定的路径地址 解决方案来自JetBrains Toolbox in Windows to install IDEs to specific folders othe...