HDFS详解
1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发...
Hive的原理和基本用法
一、Hive的概述 1、Hive的定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL进行数据读取、写入和管理。 &n...
Hive的基本概念
一、Hive基本概念 1．什么是Hive? hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载。可以存储、查询和分析存储在Hadoop中的大规模数据。 hive数据仓库工具能将结构化...
Hive 1、什么是Hive，Hive有什么用
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规...
Kafka-为什么选择kafka(kafka的优点)
Kafka-为什么选择kafka(kafka的优点) 多个生产者 kafka可以无缝的支持多个生产者，不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统手机数据，并以同一的格式对外提...
kafka事务原理与使用
项目要求使用kafka的事务，遇到了一些问题，研究了下kafka的事务机制记录一下。 kafka事务是为了实现: Exactly Once即正好一次语义 操作的原子性 有状态操作的可恢复性 ka...
kafka消费者详解
一、消费者组 &n...
kafka简介
对于kafka的架构原理我们先提出几个问题? 1.Kafka的topic和分区内部是如何存储的，有什么特点？ 2.与传统的消息系统相比,Kafka的消费模型有什么优点? 3.Kafka如何实现分布式...
Kafka核心技术与实战
Kafka入门 消息引擎系统： 开源的消息引擎系统，实现松耦合的异步式数据传递 常见传输协议：点对点；发布/订阅模型 作用：削峰填谷 Kafka相关术语 消息record：kafka处理的...
Kafka 架构及基本原理简析
Kafka简介 Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统，最早是由Linkedin公司开发，最终开源到Apache软件基金会的项目。Kafka是一个分布式的，支持分区的，多副本的和多订...