虽然大数据分析周围的嗡嗡声处于峰值,但较少讨论如何在第一位置将必要的数据获得进入系统,这可能涉及设置和维护许多数据处理管道的麻烦任务。
为了帮助解决这个问题,加州Santa Clara,加利福尼亚州启动数据摩托车已发布它将它称之为Hadoop,Datatorrent Dingest的第一个企业级摄取应用程序。
该应用程序旨在简化收集,聚合和移动数据的过程,进出Hadoop集群。
该软件基于项目顶点,一个开源软件包可在Apache 2.0许可证下提供。
作为Hadoop平台内的组件工作,Dingest可以使用流和批处理数据。它可以跨各种文件系统和协议交换数据,包括NFS,FTP,Hadoop文件系统,Amazon Web服务的简单存储服务(S3),Kafka和Java消息服务。
该软件是容错的,因为它可以在中断后自动恢复文件传输。它配有点击点和单击界面,以及监视日志。
该公司免费发布Dingest,希望用户将升级到Datatorrent的企业Hadoop数据摄取管道软件,数据摩金特RTS 3.,这是基于Dingest / Project APEX的,包括运营管理,简单开发和数据可视化的其他功能。
数据摩金香是共同成立由Amol Kekre和Phu Hoang,一对曾经在Hadoop Pioneer Yahoo工作的工程师。该公司已与Hadoop Distributors Hortonworks和Tivotal组成的合作伙伴关系,并拥有叫醒了投资者的早期阶段资金近2400万美元。
Joab Jackson涵盖企业软件和一般技术突发新闻IDG新闻服务。在Twitter上跟随Joab@Joab_Jackson.。Joab的电子邮件地址是joab_jackson@idg.com.