spark是什么意思（spark有什么作用）

　　　1、spark是什么

　　Spark， 是一种通用的大数据计算框架， 正如传统大数据技术Hadoop的MapReduce、 Hive引擎， 以及Storm流式实时计算引擎等。

　　Spark包含了大数据领域常见的各种计算框架， 比如:

　　Spark Core用于离线计算

　　Spark SQL用于交互式查询

　　Spark Streaming用于实时流式计算

　　Spark MLlib用于机器学习

　　Spark GraphX用于图计算

　　Spark主要用于大数据的计算， 而Hadoop以后主要用于大数据的存储（ 比如HDFS、 Hive、 HBase等） ， 以及资源调度（ Yarn）

　　Spark+Hadoop的组合， 是未来大数据领域最热门的组合， 也是最有前景的组合！

　　2、spark介绍

　　Spark， 是一种"One Stack to rule them all"的大数据计算框架， 期望使用一个技术堆栈就 完美地解决大数据领域的各种计算任务。 Apache官方， 对Spark的定义就是： 通用的大数据快 速处理引擎。

　　Spark使用Spark RDD、 Spark SQL、 Spark Streaming、 MLlib、 GraphX成功解决了大数 据领域中， 离线批处理、 交互式查询、 实时流计算、 机器学习与图计算等最重要的任务和问题。

　　Spark除了一站式的特点之外， 另外一个最重要的特点， 就是基于内存进行计算， 从而让 它的速度可以达到MapReduce、 Hive的数倍甚至数十倍！

　　现在已经有很多大公司正在生产环境下深度地使用Spark作为大数据的计算框架， 包括 eBay、 Yahoo!、 BAT、 网易、 京东、 华为、 大众点评、 优酷土豆、 搜狗等等。

　　Spark同时也获得了多个世界顶级IT厂商的支持， 包括IBM、 Intel等。