spark架构 spark架构原理

大家好我是小怡，spark架构，关于spark架构原理很多人还不知道，那么现在让我们一起来看看吧！

spark架构 spark架构原理

spark架构 spark架构原理

1、6.快速。

2、系统的设计保证了消息能得到快速的处理，使用MQ作为其底层消息队列。

3、Spark已经取代Hadoop成为最活跃的开源大数据项目，但是，在选择大数据框架时，企业不能因此就厚此薄彼近日，大数据专家Bernard Marr在一篇文章中分析了Spark和 Hadoop 的异同虽然在特定的情况下，Spark据称要比Hadoop快100倍，但它本身没有一个分布式存储系统而分布式存储是如今许多大数据项目的基础，它可以将 PB 级的数据集存储在几乎无限数量的普通计算机的硬盘上，并提供了良好的可扩展性，只需要随着数据集的增大增加硬盘因此，Spark需要一个第三方的分布式存储，也正是因为这个原因，许多大数据项目都将Spark安装在Hadoop之上，这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据了与Hadoop相比，Spark真正的优势在于速度，Spark的大部分作都是在内存中，而Hadoop的MapReduce系统会在每次作之后将Bernard认为，虽然Spark发展迅速，但它尚处于起步阶段，安全和技术支持基础设施方还不发达，在他看来，Spark在开源社区活跃度的上升，表明企业用户正在寻找已存储数据的创新用法所有数据写回到物理存储介质上，这是为了确保在出现问题时能够完全恢复，但Spark的弹性分布式数据存储也能实现这一点另外，在高级数据处理（如实时流处理、机器学习）方面，Spark的功能要胜过Hadoop在各种各样的大数据应用程序中，这种处理的用途越来越多，比如，零售商使用的引擎、制造业中的工业机械性能这种技术是制造系统（如预测零件何时损坏）和无人驾驶汽车的核心Spark有自己的机器学习库MLib，而Hadoop系统则需要借助第三方机器学习库，如Apache Mahout例如，CloudHadoop和Spark均是大数据框架，都提供了一些执行常见大数据任务的工具，但确切地说，它们所执行的任务并不相同，彼此也并不排斥era 就既提供 Spark 服务也提供 Hadoop服务，并会根据客户的需要提供最合适的建议。

本文到这结束，希望上面文章对大家有所帮助。