搭建本地yum源服务器

  好久没写博客了,最近比较动荡,临毕业时跳了个槽,感觉之前做的金融方向的运维不是很适合我,对各方面的限制还是太多。金融的IT对于安全似乎要求很高,云盘,U盘都不能用,还要经常给...

2022-12-10 309 阅读

Sqoop-1.4.6安装部署及详细使用介绍

之所以选择Sqoop1是因为Sqoop2目前问题太多。无法正常使用,综合比较后选择Sqoop1。 Sqoop1安装配置比较简单 一、安装部署 (1)、下载安装包 下载地址:http://archive.cloudera.com/cdh5/...

2022-12-10 238 阅读

spark安装配置

准备:1. 规划3个集群节点:hosts主机都已经配置好映射,映射主机名分别为master,slave1,slave2,且已经进行ssh免密配置,确保端口互通,防火墙关闭 2. 先安装好scala(参考:https://www.cnbl...

2022-12-10 189 阅读

hiveserver2的配置和启动

概览1.配置hive-site.xml2.配置hadoop中的core-site.xml文件3.测试 首先将hive安装 然后更改部分配置文件 1.配置hive-site.xml利用Xshell工具连接虚拟机 进入hive安装目录下的conf文件夹,更...

2022-12-10 404 阅读

hive学习(一)hive架构及hive3.1.1三种方式部署安装

  1.hive简介 logo 是一个身体像蜜蜂,头是大象的家伙,相当可爱。 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和...

2022-12-10 278 阅读

Hive metastore三种配置方式

Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore。   一、本地der...

2022-12-10 223 阅读

linux linux中sqoop部署以及实现mysql数据导入hive

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数...

2022-12-10 283 阅读

linux linux中sqoop实现hive数据导入到mysql

上一篇文章我们简单的介绍《 linux中sqoop实现hive数据导入到mysql》,本文将简单介绍如何通过sqoop把hive数据导入到mysql。一. 前期准备 实践本文内容,默认您已经安装和部署了hadoop,mys...

2022-12-10 322 阅读

mysql 利用sqoop将hive数据导入导出数据到mysql

运行环境  centos 5.6   hadoop  hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题...

2022-12-10 292 阅读

mysql 利用sqoop将hive数据导入导出数据到mysql

运行环境  centos 5.6   hadoop  hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题...

2022-12-10 297 阅读