今日头条官网,Spark 和 Hadoop 是友,非敌,明星照片大全

频道:新闻世界 日期: 浏览:304

Spar蝼蚁玻璃k 在 6 月份取得了激动人心的成果。在圣何塞举行的 Hadoop 峰会上,Spark 成了西安黑舞厅人们常常提及的论题和许小狼毒多讲演的主题。IBM 还在 6 月 15 号宣告,将对 Spark 相关的技能进行巨额出资。

这一声明协助推进了旧金山Spark 峰会的举行。在这里,人们会看到有越来越多的工程师在学习 Spark,也有越来越多的公司在实验和选用 Spark。

对 Spark 的出资和选用形成了一个正向循环,敏捷推进这一重要技能的老练和开展,让整个大数据社区获益。可是,人们对 Spark 的日益重视让一些人发生了古怪、顽固的误解:即 Spark 能代替 Hadoop,而不是对 Hadoop 的弥补。这一误解从《公司纷繁扔掉大数据技能 Hadoop 》这样的新闻标题上就能看出来。

作为大数据鹿眠灵长时间践行者、现任大数据即服务公司首席执行官,我想就这一误解宣布观点,进行一些弄清。

Spark 和 Hadoop 合作得很好。

今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全

Hadoop 正日益成为公司处理大数据的企业渠道之选。黄凯芹老婆Spark 则是运转在 Hadoop 之上的内存中处理解决方案。Hadoop 最大的用户(包含易趣和yahoo)都在自己的 Hadoop 集群中运转 Spark。Cloudera 和 Hortonworks 在其 Hadoop 包中也加入了把戏跳绳最简略的十种 Spark。咱们 Alti李若溪歌手scale 的客户在咱们最开端推出时就运用运转着 Spark 的 Hadoop。

将 Spark 放到 Hadoop 的对立面就像是在说你的新电动车十分酷,底子不需要电相同。但事实上今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全,电动车会推进对更多电力的需求。

为什么会发生这种继父的隐秘混杂?现在的 Hadoop 由两大部分组成。榜首部分是名为冯雪茹 Hadoop今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全 分布式文件体系(HDFS)的大今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全规划存储体系,该体系能高效、低成本地tickleboy存储数据,且针对大数据的容量、多样性和速度进行了优化。第二部分是名少男出柜为 YARN 的核算引擎,该引擎能在 HDFS 存储的数据上运转很多并行程京师倬云序。

YARN 能保管恣意多的程序结构。开始的结构是由谷歌创造的 MapReduce,用来协助处理海量网络抓取数据。Spark 是另一个这样的结构,还有一个名为 Tez 的新结构。当人们议论 Spark 与 Hadoop 的“对决”时,他们实际上是在说现在程序员们更喜爱用 Spark 了,而飞笛智投非之前的 MapReduce 结构。

可是,MapReduce 不应该和 今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全Hadoop 同等起来。MapReduce 仅仅 Hadoop 集群处理数据的许多方法之一。Spark 能够代替 MapReduce。商业剖析们会防止运用这两个本来是供程序员运用的底层结构。相反,他们运用 SQL 等高档言语来更方便地运用 Hadoop。

在曩昔四年中,根据 Had今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全oop 的大数据技能呈现出了让人眼花缭乱的立异。Hadoop 从批处理 SQL 进化到了交互操作;从一个结构(MapReduce)变成了多个结构(如 MapReduce、Spark 等)。

HDFS 的功能和安全也得到了巨大改善,在这些技能之上呈现了很多工生锈小湖具,如Datameer 、 H20 和Tableau 。这些东西邱浩轩极大地扩展了大数据基础设施的用户规模,让数据科学家和企业用户也能今天头条官网,Spark 和 Hadoop 是友,非敌,明星相片大全运用。

Spark 不会代替 Hadoop。相反,Hadoop 是 马紫菜Spark 的柱石。跟着各个安排寻求运用规模最广、最健狂野转化壮的渠道来将自己的数据财物转变为可举动魅惑墨眸之白衣驭兽师的商业洞见,它们对 Hadoop 和 Spark 技能的选用也会越来越多。

翻译:1thinc0

Spark And Hadoop 马刀进行曲Are Friends, Not Foes