Spark（一）Spark简介

问题
工具只在解决了一些问题时才有用，对吧！那么让我们来讨论一下 Spark 能解决的问题。

我们需要（快速获取）答案
在批处理过程中，长时间等待运行作业的结果是意料中的事，在如今的企业中，需要快速（“近实时”）获取答案。大数据的属性（速度、数据量和种类）使得业务问题越来越难获得答案，但快速获取这些答案非常重要。

数据如此之多
数据源数不胜数且仍在增加。从 IoT 设备、实时交易、单击流、应用到社交媒体等，数据源在不断增加。所有数据都需要经过一定的处理，这样分析师才能理解并从中获取业务价值。现在您需要能处理所有这些数据，以便将它们转化为某种能使用的信息。能够以越来越快的速度处理从越来越多来源传入的海量数据，这一点很重要！

A 与 B（以及 C、D 等等）有何关联？
您拥有所有这些有用的数据，从客户交易、社交媒体交互到地理空间数据等等。现在您需要了解所有这些维度如何相互关联。重要的是能看到对这个数据图的全面分析结果，从而确定哪些数据维至关重要，哪些毫无价值。

我们需要知道（何时）将会发生什么
您拥有所有这些宝贵的历史数据。太棒了！现在您需要分析它们，了解发生了什么和发生的原因，以便能预测接下来会发生什么。重要的是能够分析所有这些数据，以便预测将会发生的业务事件。

Apache Spark 不是什么
我们常常（且很容易）合并解决一组类似问题的两种或更多相关技术，而且在不能互换使用它们时互换使用了它们。为了避免在 Spark 上犯这种错误，让我们讨论一下它不是什么。

Hadoop
Hadoop 是一种大数据文件存储和数据处理框架，它使用一种称为 MapReduce 的技术从一个庞大的磁盘集群读取数据，转换数据，并将数据写回磁盘。另一方面，Spark 使用有向非循环图 (DAG) 通过一系列步骤处理内存中的数据，这些步骤之间相互依赖（Gradle 也使用了一种 DAG），而且不会像 Hadoop（通过 Hadoop 分布式文件系统，HDFS）那样处理文件存储本身。

MapReduce
人们很容易将 Spark Core 与 MapReduce 混淆，因为它们在大数据领域都很重要。MapReduce 基本来讲是一种单通算法：读入数据，MapReduce 转换它，然后将数据写回到磁盘。如果需要另一次转换，则会重复这些步骤。另一方面，Spark 在内存中执行所有处理工作（如有必要，还会执行多次迭代），并使用 DAG 确定要执行步骤的最佳顺序。

与 Hadoop 相互排斥
Spark 被设计为与 Hadoop 兼容，所以 Hadoop 和 Spark 可以紧密协作。事实上，Spark 下载包含用于使用 HDFS（用于存储管理）和 YARN（用于资源管理和调度）的 Hadoop 客户端库。

解决方案
在一开始的时候，我就介绍了 Spark 能解决的一些问题。现在我将展示 Spark 如何解决这些问题。

我们需要（快速获取）答案
近实时的分析在一段时间内需要高性能。Spark 处理来自内存的数据，所以处理速度很快。Spark 的核心库支持轻松地编写优化的代码来获得最快的结果。最多比 MapReduce 快 100 倍！

数据如此之多
或许使用 Spark 的最大好处是它能处理实时流数据。来自交易场所、社交媒体单击流和 IoT 设备的数据必须在传输到磁盘之前快速转换。使用 Hadoop HDFS 时，需要将数据写入磁盘，然后读回进行 Map/Reduce 转换处理，接着再写回磁盘，然后才能交到分析师手中。
Spark Streaming 允许在内存中处理传入的数据，然后写入磁盘供以后扩充（如有必要）和进一步分析。

A 与 B（以及 C、D 等等）有何关联？
来自多个来源的数据（比如交易数据、社交媒体数据、单击流等）拥有隐藏的关联，梳理这些关联有助于发现数据中的新见解和洞察 – 它们从表面上看似乎处于完全不同的维度，但实际上却紧密关联。但要以有意义的方式实现此目的，需要灵活地转换数据（速度快没有坏处，对吧？），以便找到正确的方向。
Spark GraphX 结合了二者的优势：多个算法的灵活性，以及以各种不同方式转换和合并数据的速度。

我们需要知道（何时）将会发生什么
在预测未来时，拥有一批历史数据是一笔非常宝贵的资产。但预测分析需要严谨的软件（当然还有硬件）。
Spark 的 MLib 具有很高的性能（惊讶吧？）机器学习 (ML) 库采用了大量经过实践检验的算法（比如分类、回归和聚类）、特制技术（比如转换和降维）和实用工具（比如线性代数和统计学）。

2 Spark与MapReduce的区别

五、Spark的常用术语