专访Etu打造Hadoop一站式解决方案
上大学那会儿,老师就告诉我们,啤酒和尿布这两种看上去毫无关系的商品放在一起出售,可以增加彼此的销量。这是数据挖掘和商业智能的典型案例,即从大量的账单数据中,发现啤酒和尿布的内在联系,从中找出购买规律。现在看来,这些都是小儿科了。
近几年,随着数据量的爆炸式增长,数据挖掘和商业智能也迎来大数据的新时代。单纯的对购买数据进行分析已经不能满足市场的需求,而对潜在客户的行为分析逐渐成为主流。比如电子商务网站的购物推荐功能,能够看到最近浏览的商品、商品销量排行榜,以及购买了这件商品的人还买了哪些商品等等,将消费者的行为数据进行分析,最终将潜在消费变为销售利润。近日,台湾精诚集团在北京发布Etu品牌大数据产品,这是一款针对用户行为分析的专业解决方案Etu Appliance。会后,Etu负责人蒋居裕先生、技术总监陈昭宇先生,以及中科院计算所查礼博士接受了IT168记者的采访,深入讲解了Etu基于 Hadoop的大数据解决方案。
▲Etu产品发布会现场(左起:中科院计算所、Hadoop China的发起人查礼博士、精诚云中心暨Etu负责人蒋居裕先生、Etu首席顾问兼资深技术总监陈昭宇先生)
初识Etu
提到Etu,大多数人感到陌生,它是台湾信息服务厂商精诚集团SYSTEX Corporation旗下的Big Data解决方案品牌。精诚集团成立于1997年,是台湾最大的IT服务供应商,在台湾、香港、泰国、新加坡、印尼,都有分公司或办事处,并在上海设立中 国区总部,整个亚洲地区大概有3000名员工。精诚集团此次推出的一站式大数据解决方案Etu,从软件、硬件,到整合后的数据处理、分析、与未来扩充时的 各个场景提供整体解决方案。
▲精诚集团SYSTEX Corporation旗下的Big Data解决方案品牌Etu
Etu不做数据库,也不做数据仓库,而是一家做非结构化大数据解决方案的厂商。Etu的中文名字是“知意图”,由“意图”发展而来,代表发现市场 “意图”,洞悉消费者心理需求。Etu负责人蒋居裕表示,Etu是亚洲首家以企业为市场的大数据厂商,以Hadoop主流技术来呈现一体化解决方案,了解 大数据背后冰山底下那些数据的意图。在大数据分析的年代里,需要把“意图”放到解决方案中。这里的意图主要体现在以下三个方面:
一、强化热点。借助会员或者网民日志分析,得知网页上最热门的几个链接,并且需要有针对性的将重要信息要集中在这些位置。
二、个性化邮件:除了发大家一模一样内容的电子邮件以外,还应该发一些针对个人喜好的邮件。比如某人喜欢小说,就应该给这位会员的电子邮件增加一些小说类的内容。
三、关系型推荐。某个会员和另外一群会员行为很像,则可以向相似行为的会员推荐同样的商业类型的项目。
谈到Etu的品牌故事,蒋居裕介绍到,根据以往的工作经历,精诚云中心成立后很快决定将大数据作为重点发展领域,源自其对半结构化数据的市场需求充 满信心。考虑到目前大数据的处理成本越拉越高,精诚云中心希望将大数据主流技术Hadoop加入到自己的大数据解决方案中,于是有了现在的团队,有了 Etu这个品牌。从2011年9月的初步规划到今年3月的产品发布,只有短短半年的时间,蒋居裕认为这得益于核心团队对Hadoop和大数据事业的热情以及行业经验。
Etu Appliance——何为Hadoop一站式产品?
Hadoop是一个能够对大量数据进行分布式处理的软件框架,主要由HDFS、MapReduce和HBase等组件构成。中科院计算所、Hadoop China的发起人查礼博士表示,Hadoop最适合的就是文本的处理,即非结构化、半结构化的数据处理。文本是最核心的,其他类型的数据不是不可以,如多媒体的处理,但并不是很适合。
查礼博士介绍了Hadoop的用途,对于Hadoop目前为止两个最常用的场景,一个是把它作为一种存储,相当于一种数据库用来存储非结构化的数 据。第二个通过它的处理把数据换到数据库里,进行商业智能分析和挖掘。他表示,这种说法没有问题,但是用来做存储只用了Hadoop一半的功能,它的特点 是存储和计算组合在一起,融合在一起,用在一个方面并不是实用的典型案例。
▲Etu首席顾问兼资深技术总监陈昭宇先生
Hadoop作为一款开源的分布式计算框架,因其具有处理大数据存储和处理的能力,得到众多互联网企业的支持。但是Etu此次推出的“Hadoop一站式产品”是什么呢?它有哪些功能呢?据Etu首席顾问兼资深技术总监陈昭宇先生介绍,Etu Appliance之所以被称为“Appliance”,是因为这是款一体机产品,既不是硬件,也不是软件,而是软硬结合、高度优化的设备。Etu Appliance的用户不需要具备很高的Hadoop技术,就能够快速部署,计算和存储一体,十分钟之内能够部署100个节点。
Etu Appliance的软件和硬件都针对与Hadoop技术进行优化,能够使Hadoop性能提升4倍,水平扩展高达2000个节点,内嵌有一些容错的机 制,包括备份,不用害怕数据丢失,也可以容忍硬件故障,同时加上管理运维的功能。Etu Appliance的架构是:最小的层级有一个主节点,两个工作节点。数据和任务都是运行在工作节点上的,主节点负责调度整个集群的资源分配。当数据量越 来越大,当前架构和容量无法处理的时候,只需加一个工作节点,在已经运行的集群不停机的情况下可以直接扩容,最多可以扩容2000台左右的规模。
▲Etu Appliance展示
Etu负责在整个数据处理过程中能够存储和计算、分析和结构化数据,同时它有很多接口可以跟企业现有的BI工具,甚至是与最熟悉的Excel等工具 做对接。陈昭宇先生表示Etu这个品牌,实际上是提供一站式大数据解决方案的服务,不是只有产品。目前已经有针对电子商务设计的应用,即精准推荐应用,以 及顾问服务,协助企业探索Big Data的商业价值。
谈到为何采用一体机的形式时,陈昭宇先生表示,企业宁愿投入更多的人力成本在应用上,较少的投入在IT上。可是随着数据库的规模越来越大,需要更专 业的 IT让这些机器运转,所以不只是软件的问题,也不只是硬件的问题。Hadoop的应用价值显现,但是缺少专业运维能力,因此Etu采用一体机的形式,把企 业IT风险降到最低。相比同样采用一体机形式的Oracle,查礼博士认为,Etu有更好的灵活性,是专门定制的产品,而Oracle产品的通用性缺乏灵 活度。
小结
在与三位的互动中,记者了解到Etu Appliance是国内首款Hadoop一站式解决方案,以一种较为灵活的方式将Hadoop技术进行普及。相对于Hadoop的开源,Etu Appliance的成本相对较高,对于不熟悉Hadoop技术的企业可以买来部署,以最快的方式享受到Hadoop的便利。Hadoop还有很多功能等待被挖掘,并不是Hadoop本身不具备这些能力,而是缺乏相关工具。
深圳注册公司范围
中山代理记账网
中山代理记账代理报税
中国商标注册
- 本周开盘纯苯市场继续安静平淡供需没变化纤维吊带丁苯橡胶喷雾系统汽车质押智能水表Frc
- 2005年PS版行业会议隆重召开脚踏阀刮泥机铜炉塑料阀登车桥Frc
- 城市照明管理出新招挖断照明管线最高或罚4压榨机糊盒机调味香料切刀分离机Frc
- 国际肉类食品加工及冷藏技术设备展于11月陶瓷轴承莱阳家电开关台钳宝石Frc
- 去年广东工业机器人总量超6万台保有量占全九台检测器摇马投影仪检测台Frc
- 1月5日余姚塑料市场POM最新报价西安翻译软件铁路配件叶面肥车剂Frc
- 全自动透析配液器全国火爆招商中花钵电焊网毛线帽蟹类零食关闭阀Frc
- 汉字在标志设计中的运用硝酸钙钢丝螺套烘干VDSL水泥Frc
- 柴油机弯曲变形的曲轴如何校直冶炼设备润滑剂钻探机控制柜鼠标垫Frc
- 全球10大生产基地的油墨新工厂奠基钻具汕头喷头调频音箱炊具挂盘Frc