闪电般的统一分析引擎

Spark News

Preview release of Spark 3.0

为了对即将发布的Spark 3.0版本进行大规模社区测试,Apache Spark社区已经发布了Spark 3.0预览版 . 从API或功能的角度来看,此预览版都不是一个稳定的版本 ,但它旨在使社区尽早访问尝试将成为Spark 3.0的代码. 如果您想测试该版本,请下载它,然后使用邮件列表JIRA发送反馈.

Plan for dropping Python 2 support

众所周知,Python核心开发团队和许多已使用的Python软件包(例如Pandas和NumPy)将在2020/01/01或之前放弃对Python 2的支持. 自2015年发布Spark 1.4以来,Apache Spark就已经支持Python 2和Python3.但是,保持Python 2/3兼容性是一个越来越大的负担,它实质上限制了Spark 3中对Python 3功能的使用. 鉴于Python 2的生命周期即将结束,我们计划最终也放弃对Python 2的支持. 目前的计划如下:

Spark 2.0.2 released

We are happy to announce the availability of Apache Spark 2.0.2! This maintenance release includes fixes across several areas of Spark, as well as Kafka 0.10 and runtime metrics support for Structured Streaming.

Spark 1.6.2 released

We are happy to announce the availability of Spark 1.6.2! This maintenance release includes fixes across several areas of Spark.

Call for Presentations for Spark Summit EU is Open

现在, Spark Summit EU的征集演讲已经开始! 该活动将于10月25日至27日在布鲁塞尔举行. 欢迎提交与Spark有关的各种主题的文章,包括应用程序,开发,数据科学,企业,Spark生态系统和研究. 请在7月1日之前提交以供考虑.

Preview release of Spark 2.0

为了对即将发布的Spark 2.0版本进行大规模社区测试,Apache Spark团队发布了Spark 2.0预览版 . 就API或功能而言,此预览版不是稳定的版本 ,但它旨在使社区尽早访问尝试将成为Spark 2.0的代码. 如果您想测试发行版,只需下载它,然后使用邮件列表JIRA发送反馈.

Spark 1.6.1 released

我们很高兴宣布Spark 1.6.1的可用性! 此维护版本包含Spark多个领域的修复程序,包括对实验数据集API的重要更新.

Spark 1.6.0 released

我们很高兴宣布Spark 1.6.0的可用性! Spark 1.6.0是与API兼容的1.X系列的第七个版本. 在此版本中,Spark社区在248个开发人员的贡献下继续增长!

Spark 1.5.2 released

We are happy to announce the availability of Spark 1.5.2! This maintenance release includes fixes across several areas of Spark, including the DataFrame API, Spark Streaming, PySpark, R, Spark SQL, and MLlib.

Spark 1.5.1 released

我们很高兴地宣布Spark 1.5.1的可用性! 此维护版本包含Spark多个领域的修复程序,包括DataFrame API,Spark Streaming,PySpark,R,Spark SQL和MLlib.

Spark 1.5.0 released

We are happy to announce the availability of Spark 1.5.0! Spark 1.5.0 is the sixth release on the API-compatible 1.X line. It is Spark’s largest release ever, with contributions from 230 developers and more than 1,400 commits!

Spark 1.4.1 released

我们很高兴宣布Spark 1.4.1的可用性! 这是一个维护版本,其中包含85个开发人员的贡献. Spark 1.4.1包含跨多个Spark领域的修复,包括DataFrame API,Spark Streaming,PySpark,Spark SQL和MLlib.

Spark 1.4.0 released

我们很高兴宣布Spark 1.4.0的可用性! Spark 1.4.0是与API兼容的1.X系列的第五个版本. 它是Spark有史以来最大的发行版,来自210个开发人员的贡献和1000多次提交!

Spark 1.3.0 released

我们很高兴宣布Spark 1.3.0的可用性! Spark 1.3.0是与API兼容的1.X系列的第三个版本. 它是Spark有史以来最大的发行版,来自174个开发人员的贡献和1000多次提交!

Spark 1.2.1 released

我们很高兴宣布Spark 1.2.1的可用性! 这是一个维护版本,其中包括69个开发人员的贡献. Spark 1.2.1包含针对Spark多个领域的修复程序,包括核心API,流技术,PySpark,SQL,GraphX和MLlib.

Spark 1.2.0 released

我们很高兴宣布Spark 1.2.0的可用性! Spark 1.2.0是与API兼容的1.X系列的第三个版本. 它是Spark有史以来最大的发行版,来自172个开发人员的贡献和1000多次提交!

Spark 1.1.1 released

我们很高兴宣布Spark 1.1.1的可用性! 这是一个维护版本,其中包含55个开发人员的贡献. Spark 1.1.1包含针对Spark多个领域的修复程序,包括核心API,Streaming,PySpark,SQL,GraphX和MLlib.

Submissions open for Spark Summit East 2015 in New York

在过去两年中成功举办活动之后, Spark峰会会议已扩展到2015年,既提供3月18日至19日在纽约举行的活动,又提供6月15日至17日在旧金山举行的活动. 这次会议是与Spark社区中的所有人见面并查看最新新闻,技巧和用例的绝佳机会.

Spark 1.1.0 released

我们很高兴宣布Spark 1.1.0的可用性! Spark 1.1.0是与API兼容的1.X系列的第二个版本. 它是Spark有史以来最大的发行版,来自171个开发人员的贡献!

Spark 1.0.2 released

我们很高兴宣布Spark 1.0.2的可用性! 此版本包括30位开发人员的贡献. Spark 1.0.2包括Spark多个领域的修复程序,包括核心API,Streaming,PySpark和MLlib.

Spark 0.9.2 released

我们很高兴宣布推出Spark 0.9.2 ! Apache Spark 0.9.2是具有错误修复的维护版本. 我们建议所有0.9.x用户升级到此稳定版本. 该版本的贡献来自28个开发人员.

Spark 1.0.1 released

我们很高兴宣布Spark 1.0.1的可用性! 此版本包括70个开发人员的贡献. Spark 1.0.0包含针对Spark多个区域的修复程序,包括核心API,PySpark和MLlib. 它还包括Spark(alpha)SQL库中的新功能,包括对JSON数据的支持以及性能和稳定性修复.

Spark 1.0.0 released

我们很高兴宣布Spark 1.0.0的可用性! Spark 1.0.0是1.X版本中的第一个版本,为Spark的核心接口提供API稳定性. 它是Spark有史以来最大的发行版,由117个开发人员提供. 此版本扩展了Spark的标准库,引入了一个新的SQL包(Spark SQL),使用户可以将SQL查询集成到现有的Spark工作流程中. Spark的机器学习库MLlib通过稀疏向量支持和几种新算法进行了扩展. GraphX和Streaming库还引入了新功能和优化. Spark的核心引擎增加了对受保护的YARN群集的支持,用于提交Spark应用程序的统一工具以及多项性能和稳定性改进.

Spark 0.9.1 released

我们很高兴宣布推出Spark 0.9.1 ! Apache Spark 0.9.1是一个维护版本,具有错误修复,性能改进,YARN更好的稳定性以及改进的Scala和Python API的奇偶性. 我们建议所有0.9.0用户升级到此稳定版本. 此版本的贡献来自37个开发人员.

Spark becomes top-level Apache project

阿帕奇软件基金会(Apache Software Foundation)今天宣布 ,Spark已经从阿帕奇孵化器(Apache Incubator)毕业,成为一个顶级阿帕奇(Apache)项目,这表明该项目的社区和产品在ASF的精英流程和原则下得到了很好的管理. 这是社区迈出的重要一步,当我们完成Spark向Apache的迁移后,我们很荣幸与用户分享此新闻. 在ASF的新闻稿中,阅读有关Spark在过去一年中的增长以及贡献者和用户的更多信息.

Spark 0.9.0 released

我们很高兴宣布推出Spark 0.9.0 ! Spark 0.9.0是主要版本,也是Spark迄今为止最大的版本,由83位开发人员提供. 此版本扩展了Spark的标准库,引入了新的图形计算程序包(GraphX)并为机器学习和流处理程序包添加了一些新功能. 它还对核心引擎进行了重大改进,包括外部聚合,针对寿命长的应用程序的简化的H / A模式以及增强的YARN支持.

Spark 0.8.1 released

我们刚刚发布了Spark Release 0.8.1 ,它是Scala 2.9版本的Spark的维护和性能版本. 0.8.1包括对YARN 2.2的支持,独立调度程序的高可用性模式,对改组的优化以及许多其他改进. 我们建议所有用户更新到此版本. 请访问发行说明以了解新功能,或立即下载发行版本.

Spark Summit 2013 is a Wrap

2013年 12月上旬在旧金山市中心举行的2013年Spark峰会取得了成功! 来自13个国家和地区的180多家公司的450多位Spark开发人员和爱好者从Spark,Shark,Spark Streaming和相关项目的项目负责人和生产用户那里学习了用例,最新开发和Spark社区路线图.

Announcing the first Spark Summit: December 2, 2013

我们很高兴宣布将于2013年12月2日在旧金山市中心举行首届Spark峰会 . 快来听听Spark,Shark,Spark Streaming和相关项目的主要生产用户. 还要找出开发的方向,并学习如何在各种应用程序中使用Spark堆栈. 该峰会由Spark社区的领先组织组织和赞助.

Spark 0.8.0 released

We’re proud to announce the release of Apache Spark 0.8.0. Spark 0.8.0 is a major release that includes many new capabilities and usability improvements. It’s also our first release under the Apache incubator. It is the largest Spark release yet, with contributions from 67 developers and 24 companies. Major new features include an expanded monitoring framework and UI, a machine learning library, and support for running Spark inside of YARN.

Spark user survey and "Powered By" page

在继续开发Spark的过程中,我们希望获得用户的反馈,并听听您希望我们下一步做什么. 我们认为,进行调查的一种好方法是我们希望定期进行此调查. 如果您有几分钟的时间参加,请在此处填写调查 . 非常感谢您的宝贵时间.

Spark mailing lists moving to Apache

作为Spark项目最近迁移到Apache的一部分,我们计划在本月将邮件列表迁移到Apache基础架构,以便现有的Google网上论坛将于2013年9月1日变为只读状态 . 要继续接收有关Spark的更新或参与开发讨论,请订阅以下列表:

大多数用户可能会需要"用户"列表,但是对向项目贡献代码感兴趣的个人也应该订阅"开发"列表.

Spark 0.7.3 released

我们刚刚发布了Spark Release 0.7.3 ,这是一个维护版本,其中包含一些修复程序,包括流API更新和用于将JAR添加到spark-shell会话的新功能. 我们建议所有用户更新到此版本. 请访问发行说明以了解新功能,或立即下载发行版本.

Spark accepted into Apache Incubator

Spark最近 Apache Incubator 接受 ,它将作为该项目的长期基地. 虽然将源代码和问题跟踪转移到Apache需要一些时间,但我们很高兴能加入Apache社区. 请继续关注本网站,以获取有关项目托管方式将如何更改的最新信息.

Spark 0.7.2 released

我们很高兴地宣布发布Spark 0.7.2 ,这是一个新的维护版本,其中包括一些错误修复和改进,以及新的代码示例和API功能. 我们建议所有用户更新到此版本. 转至发行说明以了解新功能,或立即下载发行版本.

Spark screencasts published

我们已经发布了一系列简短的动手视频培训课程的前两个截屏视频,这些课程将发布,以帮助新用户在数分钟内开始使用Spark.

Strata exercises now available online

在今年的Strata会议上,AMP Lab举办了整天的Spark,Shark和Spark Streaming教程,包括Amazon EC2上的在线练习. 这些练习现已在线提供 ,使您可以根据自己的步调在具有实际数据的EC2群集上学习Spark和Shark. 它们是学习系统的重要资源. 您也可以从在线Strata教程中找到幻灯片 ,以及八月份在伯克利举行的AMP Camp研讨会的视频 .

Spark/Shark Tutorial for Amazon EMR

这个周末,亚马逊发布了一篇文章和代码,可轻松在Elastic MapReduce上启动Spark和Shark. 本文包含有关如何在S3中的数据上运行Shark的交互式Scala命令和SQL查询的示例. 有关详细信息,请转到亚马逊文章 . 我们非常兴奋,因为据我们所知,这使Spark成为您可以通过EMR启动的第一个非Hadoop引擎.

Spark 0.6.2 released

我们最近发布了Spark 0.6.2 ,它是Spark的新版本. 这是一个维护版本,其中包括一些错误修复和可用性改进(请参阅发行说明 ). 我们建议所有用户升级到此版本.

Video up from first Spark development meetup

12月18日,我们举行了一系列Spark开发见面会的第一场,面向有兴趣学习Spark代码库并为该项目做出贡献的人们. 需求比我们预期的要多得多,有80多个人签约了64个参与者. 第一次见面是Spark内部知识介绍 . 感谢其中一位与会者,现在在YouTube上有一个聚会视频. 我们还发布了幻灯片 . 希望将来看到更多有关Spark和Shark的开发聚会.

Spark in the news

最近,我们在新闻中看到了很多关于Spark的报道. 我想列出一些较新的文章,以供有兴趣了解更多信息的读者使用.

在其他新闻中,将在2月的O'Reilly Strata会议上进行一整天的Spark和Shark教程. 其中包括周二上午为时三个小时的Spark,Shark和BDAS简介 ,以及为时三个小时的动手练习 .

Spark 0.6.1 and 0.5.2 out

今天,我们为Spark提供了两个维护版本: 0.6.10.5.2 . 它们都包含重要的错误修复以及一些新功能,例如能够针对Hadoop 2发行版进行构建的功能. 我们建议用户将其分支机构更新为最新版本. 对于新用户,我们建议0.6.1 .

by  ICOPY.SITE