阿里巴巴集团旗下阿里云计算发布大数据产品——开放数据处理服务ODPS。据悉,ODPS可在6小时内处理100PB数据,相当于1亿部高清电影。通过ODPS在线服务,花几百元即可分析海量数据。目前,全球还有Google、亚马逊等少数公司掌握这种能力。
业内人士称,采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。能够对大量数据进行分布式处理的软件框架Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金,专业的Hadoop人才则更加稀缺。
阿里云相关负责人说,阿里云的工程师们利用5年的时间写下250万行代码,不断打磨ODPS。相比而言,使用ODPS的成本和门槛低得多。它采取按量收费的模式,目前定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,一般每月只需花费数百元。
据悉,在对外商用之前,阿里小贷最先将ODPS应用到商业领域,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。目前,超过36万人从阿里小贷借款,最小贷款额为1元,并能实现3分钟申请、1秒放款、0人工干预。阿里小贷每天得处理30PB数据,包括800亿个信息项,运算100多个数据模型。
在公共领域,华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一;药监部门利用ODPS,全程监管药品流向,解决假药问题。
阿里云方面表示,ODPS不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。
文章出自云思盈科 http://www.yunthink.com