宁德生活圈

网站首页 动态 > 正文

头条:Hadoop是充分利用大数据的好方法

2021-10-16 15:42:52 动态 来源:
导读 在当今不断变化的技术世界中,软件即服务(SaaS)已经成为一种常见模式。这项服务是根据用户的需要提供的。大数据遵循相同的服务模式。在本文

在当今不断变化的技术世界中,软件即服务(SaaS)已经成为一种常见模式。这项服务是根据用户的需要提供的。大数据遵循相同的服务模式。在本文中,我们将讨论大数据技术领域遵循的服务模式。

以下是一些众所周知的大数据即服务(BDaaS)服务模型:

拉克空间公司

Rackspace Hadoop集群可以在Rackspace管理的专用服务器、公有云或私有云上运行Hadoop。

Rackspace为Apache Spark和Hadoop提供了云大数据模型。它为内存处理提供了一个完全托管的裸机平台。

Rackspace消除了手动管理和维护大数据的问题。它具有以下功能:

通过提供247365的支持,减轻操作负担。

提供完整的霍顿工程数据平台(HDP)工具集访问,包括清管器、蜂箱、糖化血红蛋白、Sqoop、水槽和HCatalog。

灵活的网络设计,传统网络高达10GB。

选择私有云可以提高公有云的功能和效率,同时提高安全性和可控性。使用私有云的主要缺点是难以管理,需要专家进行升级、修复和监控。Rackspace在这些领域提供了出色的支持,因此无需担心云管理。

Joyent公司

Joyent基于Apache Hadoop,是一个基于云的大数据项目托管环境。该解决方案是使用Hortonworks数据平台构建的。它是一个高性能的容器本地基础设施,可以满足当今移动应用和实时Web的需求。它允许企业Hadoop在高性能Joyent云上运行。

它还有以下优点:

通过Joyent提供的解决方案,在相同的响应时间内,基础设施成本降低了三分之二。

jot cloud上的Hadoop集群提供了3倍的磁盘I/O响应时间。

加快分布式并行处理的响应时间。

执行密集数据分析应用程序的Hadoop集群的扩展得到改进。

更快的结果和更短的响应时间。

通常,大数据应用程序被认为是昂贵且难以使用的。Joyent正试图通过提供更便宜、更快的解决方案来改变这种情况。Joyent为实时Web和移动应用程序提供公共和混合云基础架构。它的客户包括LinkedIn和Voxer等名人。

量子位

对于大数据项目,Qubole提供了一个内置数据连接器和图形编辑器的Hadoop集群。这样就可以利用MySQL、MongoDB、Oracle等各种数据库,并且可以将Hadoop集群设置为自动驱动。它为Hive、Pig和MapReduce提供了一个查询编辑器。

Qubole以服务的形式提供一切,包括:

Hive、Pig和MapReduce的查询编辑器。

表达式计算器

利用率仪表板

转换加载(ETL)和数据管道构建器。

其职能包括:

比亚马逊EMR跑得更快。

易于使用的图形用户界面、内置连接器和无缝弹性云基础架构。

资源分配和管理的优化由QDS Hadoop引擎通过守护进程完成,并提供高级Hadoop引擎以获得更好的性能。

为了加快查询速度,输入/输出针对S3存储进行了优化。S3安全可靠。Qubole数据服务在S3将数据执行速度提高了5倍。

无需为未使用的功能和应用付费。

云集成-Qubole数据服务不需要改变当前的基础设施,这意味着它可以灵活地用于任何平台。QDS连接器支持导入和导出云数据库,如MongoDB、Oracle、PostgresSQL和Google Analytics。

借助用于集群生命周期管理的Qubole数据服务,可以在几分钟内配置集群,根据需求进行扩展,并在环境中运行,从而轻松管理大数据评估。

弹性MapReduce

Amazon Elastic MapReduce(EMR)提供了一个托管的Hadoop框架,用于简化大数据处理。而分发大量数据是非常简单和划算的。

其他分布式框架(如Spark和Presto)也可以在亚马逊EMR中运行,与亚马逊S3和DynamoDB中的数据进行交互。EMR可靠地处理这些用例:

网络索引

机器学习

科学模拟

数据仓库

日志分析

生物信息学

其客户包括Yelp、诺基亚、Getty Images、Reddit等。它的一些功能是:

在每个实例中灵活使用根访问,支持多个Hadoop发行版和应用程序。你可以放松自己

定义每个群集并安装其他应用程序。

安装Amazon EMR集群很容易。

足够可靠,可以减少监控集群的时间; 重试失败的任务并自动替换性能不佳的实例。

安全,因为它自动配置Amazon EC2防火墙设置以控制对实例的网络访问

使用Amazon EMR以任何规模处理数据。可以容易地增加和减少实例的数量。

低成本定价,无隐藏成本; 每小时支付一次。例如,以每小时0.15美元的价格启动一个10节点的Hadoop集群。

它用于分析点击流数据以了解用户首选项。广告商可以分析点击流和广告印象日志。

它还可用于有效处理大量基因组数据和大数据集。研究人员可以免费访问AWS上托管的基因组数据。

Amazon EMR可用于日志处理,并帮助他们将数PB的非结构化和半结构化数据转化为有用的见解。

砂浆

Mortar是一个高级数据科学平台,基于Amazon Web Services云构建。它基于Elastic MapReduce(EMR)构建,以启动Hadoop集群。Mortar由K. Young,Jeremy Kam和Doug Daniels于2011年创建,旨在消除耗时,困难的任务。这样做是为了让科学家们花时间做其他重要的工作。

它运行在Java,Jython,Hadoop等上,以最大限度地减少用户投入的时间,并让他们专注于数据科学。

它具有以下功能:

它使您的团队从繁琐且耗时的安装和维护中解放出来。

通过在短时间内将解决方案投入运营来节省时间。

自动向用户发出技术和应用程序中的任何故障警报,以确保他们获得准确和实时的信息。

砂浆平台的应用:

为了部署功能强大,可扩展的推荐引擎,最快的平台是Mortar。

Mortar是完全自动化的,因为它只用一个命令从头到尾运行推荐引擎。

它使用行业标准版本控制,有助于轻松适应和定制。

为了进行分析,可以轻松地将多个数据源连接到数据仓库。

它通过处理基础架构,部署和其他操作来节省团队的工作时间。

使用您已有的数据预测分析。Mortar支持线性回归和分析分类等方法。

支持领先的机器学习技术,如R,Pig和Python,为复杂的工作提供轻松的并行化。

99.9%的正常运行时间和战略警报可确保用户的信任和一次又一次的分析管道交付。

预测算法用于发展业务,如预测需求和识别高价值客户。

无论是标记化,词干化,LDA还是n-gram,都可以轻松分析大量文本。

目前有许多大数据应用程序可用,并且在未来毫无疑问会为用户提供更快,更便宜的解决方案。此外,服务提供商将提出更好的解决方案,使安装和维护更少扩展。


免责声明: 本文由用户上传,如有侵权请联系删除!


标签: