产品展示
值得关注的12大开源大数据分析应用软件
对于许多大企业来说,开源大数据分析已经成为日常业务中一个必不可少的组成部分。据New Vantage Partners公司对《财富》1000强公司的高层主管开展的调查显示,如今62.5%的企业在生产环境中至少运行一种大数据工具或应用软件。这比2013年给出同样回复的企业数量高出近一倍,只有5.4%的受访企业没有大数据计划。
说到大数据分析,开源软件是常态,而不是异数。许多企业使用的一些领先工具由Apache基金会管理,许多商业工具至少一部分基于这些开源解决方案。
我们在本文中介绍了市面上12款顶尖的开源数据分析解决方案,其中一些为大数据分析提供了全面的端到端平台,另一些要与其他技术结合起来。它们都适合大企业使用,都是市面上领先的数据分析工具。
谈到开源数据分析技术,就不可能不提到Hadoop。Apache基金会的这个项目已经几乎成为大数据的同义词,它让企业能够大规模分布式处理极其庞大的数据集。TDWI和SAS联合开展的一项调查发现,近60%的企业预计在2016年年底之前会在生产环境中拥有Hadoop集群。
然而值得一提的是,Hadoop本身无法实现数据分析。它通常是从大数据获取洞察力的整个更庞大解决方案的一部分。
Spark也是Apache旗下的一个项目,它承诺可以迅速处理大数据。实际上,它声称“在内存中运行程序的速度比Hadoop MapReduce快100倍,在磁盘上运行程度的速度快10倍”。
由于这种出色性能,它常常用于分析流式数据或用于需要交互式分析功能的应用软件中。许多公司经常把它与Hadoop或Mesos一起使用,不过它也能独立运行。最近,它的人气得到了急剧提升,Syncsort在2016年开展的一项调查发现,受访的企业大数据工作人员中近70%对Spark有兴趣。
不像前面两个项目,Talend由一家营利公司管理,而不是由基金会管理。因而,提供收费支付服务。Talend既提供免费产品,又提供收费产品。它免费的开源解决方案名为Talend Open Studio,下载量已超过了200万人次。
市场研究公司Gartner最近将Talend评为数据集成领域的“领导者”。这家公司声称,相比与之竞争的解决方案,它帮助企业分析大数据的速度快五倍,而成本却只有五分之一。
与Talend一样,Jaspersoft也有多个版本,有的版本免费,有的版本收费。社区版是免费、开源的,而Reporting版、AWS版、专业版和企业版需要收费,不过随带支持服务。
Jaspersoft是一款开源商业智能工具,旨在让企业用户可以借助自助服务,满足自己的要求。该公司声称,它的技术支持130000多款应用软件,提供嵌入式商业智能功能。
Pentaho自诩为“全面的数据集成和商业智能平台。”该公司主要大力推销它的商业版软件,该软件基于开源社区版。
许多公司将它与Hadoop和Spark之类的工具一起使用,以便能够报告和显示大数据。该软件声称拥有一大批的知名客户,包括英国电信(BT)、卡特皮勒、纳斯达克、美国国土安全部、美国国家海洋和大气局(NOAA)、《》、EMC及其他许多企业组织。
RapidMiner声称是“头号开源数据科学平台”,Gartner将它评为高级分析魔力象限报告中的领导者。它能够实现自助式预测分析,承诺有望提升速度飞快的性能。
用户包括宝马、汉莎航空、达美乐比萨公司、索尼、福特、Salesforce、组织和通用电气公司。整个RadiMiner平台包括三个独立的组件:RapidMiner Studio、RapidMiner Server和RapidMiner Radoop。这三个组件都采用开源许可证或商业许可证,商业版价格取决于用户数量。
它的官方网站解释:“Storm让用户很容易可靠地处理无限制的数据流,它在实时处理方面的功能好比Hadoop在批处理方面的功能。”客户可以将它与任何数据库或任何编程语言一起使用。它具有可扩展、容错、易于部分使用的优点。然而用户要注意的是,Storm还没有进入到1.0版本这个阶段。
H2O被60000多个数据科学家和7000多家企业组织所使用,声称是“世界上领先的开源机器学习平台。”由于它的内存技术,它提供了极其出色的性能。它还与Hadoop和Spark之类的其他许多开源数据分析工具整合起来,支持所有主要的流行数据库,提供收费的支持服务。
除了标准版的H2O外,该公司还提供Sparkling Water,这个版本整合了Spark和Steam,后者是一种端到端人工智能应用引擎。
Lumify由一家名为Altamira 科技的公司开发,自称是“开源大数据分析和可视化平台”。
它让用户易于创建二维或三维图形,可显示实体之间的关系,或在地图上覆盖数据。对于有兴趣深入了解它的工作原理的那些人来说,官方网站提供了几个视频,显示了Lumify的实际运行,上面还有一个演示网站,让用户可以上传自己的数据,并试用软件。
Apache Drill让用户得以使用SQL查询用于非关系型数据存储系统。它支持一系列NoSQL和基于云的数据存储系统。
Apache Drill包括HBase、MongoDB、MapR-DB、HDFS、MapR-FS、亚马逊S3、Azure Blob Storage、谷歌云存储和Swift。它还让用户可以使用单一查询,即可搜索用不同技术存储起来的多个数据集。此外,它支持许多流行的商业智能工具。
作为最知名的NoSQL数据库之一,MongoDB是一种开源非关系型数据存储解决方案。客户包括大都会人寿(MetLife)、芝加哥市、Expedia、谷歌、气象频道、BuzzFeed和Facebook。
除了免费开源版外,该公司还提供一款收费的企业版和云托管的版本MongoDB Atlas。知名市场研究机构弗雷斯特研究公司将MongoDB评为大数据NoSQL领域的“领导者”。
该软件完全免费,但还提供收费的用户支持、维护、咨询和培训等服务。它包括了用于报告、多维分析(OLAP)、图表、位置情报、数据挖掘、ETL(抽取转换和加载)及更多其他方面的工具。它还与流行的内存处理引擎整合起来,能够实现实时处理。