Greenplum是一家总部位于美国加利福尼亚州,该公司成立于2003年,2006年推出了首款产品,其主营业务关注在数据仓库和商业智能方面,Greenplum DW/BI软件可以在虚拟化x86服务器上运行无分享(shared-nothing)的大规模并行处理(MPP)架构。当前使用的 OLTP程序中,用户访问一个中心数据库,如果采用SMP系统结构,它的效率要比采用MPP结构要快得多。而MPP系统在决策支持和数据挖掘方面显示了优势,可以这样说,如果操作相互之间没有什么关系,处理单元之间需要进行的通信比较少,那采用MPP系统就要好,相反就不合适了。
MPP 系统
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中,每个 SMP节点也可以运行自己的操作系统、数据库等。换言之,每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配(Data Redistribution) 。与传统的SMP架构明显不同,通常情况下,MPP系统因为要在不同处理单元之间传送信息,所以它的效率要比SMP要差一点,但是这也不是绝对的,因为 MPP系统不共享资源,因此对它而言,资源比SMP要多,当需要处理的事务达到一定规模时,MPP的效率要比SMP好。这就是看通信时间占用计算时间的比例而定,如果通信时间比较多,那MPP系统就不占优势了,相反,如果通信时间比较少,那MPP系统可以充分发挥资源的优势,达到高效率。
中国运营
Greenplum于2008年12月进入中国市场,经过一年多的开拓,2010年1月1日Greenplum正式宣布在中国独立运营,并任命Stanley Chen先生为Greenplum大中华区总裁职务,Stanley Chen先生在IT行业从业25年以上,曾在Oracle公司工作16年担任亚太区副总裁。Stanley Chen总裁将管理和运营Greenplum在大中华区的业务,Greenplum公司将为大中华区的企业级用户提供世界领先的数据仓库解决方案和服务。Greenplum在中国迅速而高效的适应能力已经彰显了其卓越的实力,宣布在中国的独立运营展示了Greenplum对中国市场的信心,也体现了Greenplum描绘中国市场宏伟蓝图的决心,也预示着新一代超级数据引擎Greenplum在中国市场的无限前景。
2010年7月EMC收购Greenplum,2010年4月Greenplum借助EMC中国卓越研发集团进入中国,组建Greenplum研发并稳步成长,覆盖了Chorus,Greenplum和Hadoop等多个产品研发。2014年4月,伴随着全球Pivotal公司的组建,冯雷(RayFeng,时任EMC中国卓越研发集团Greenplum部门经理)在范承工博士和Greenplum创始人ScottYara的支持下组建了Pivotal中国研发中心。Greenplum作为Pivotal的核心大数据产品,有着一支技术实力很强的团队。
Greenplum中国研发团队占全球研发团队的一半以上,在研发总监姚延栋,产品经理高小明的带领下,专注于Greenplum分布式数据库内核开发。此外中国研发团队还独立负责GPText(文本检索)和GPCC(Greenplum数据库监控管理)两个产品的全部研发工作。Greenplum中国研发团队将敏捷软件开发方法学引入到分布式数据库的开发中,通过使用站立会议、回顾会议、结对编程、持续集成、测试驱动、单周迭代等敏捷方法建立了高效的快速反馈系统,大大提高了产品的质量和客户的满意度。Greenplum中国研发团队开放、协作、创新的文化吸引了大量来自于清华、北大、中科院、人大、北航等国内知名院校的人才,是分布式数据库研发领域的知名团队 。
Greenplum于2015年10月开源,开源社区在中国有很高的知名度。
软件优势
1. 数据存储
当今是个数据不断膨胀的时代,采取MPP架构的数据库系统可以对海量数据进行管理。
Greenplum支持50PB(1PB=1024TB)级海量数据的存储和处理,Greenplum将来自不同源系统的、不同部门、不同平台的数据集成到数据库中集中存放,并且存放详尽历史的数据轨迹,业务用户不用再面对一个又一个信息孤岛,也不再困惑于不同版本数据导致的偏差,同时对于IT人员也降低管理维护工作的复杂度。
2. 高并发
随着商业智能在企业内的快速发展,BI 用户对信息分析平台的访问频率和查询复杂度也快速提升,因此要求相应的数据库系统对高并发查询进行支持。Greenplum利用强大并行处理能力提供并发支持。
Greenplum提供资源管理功能(workload managemnt)来管理数据库资源,利用资源队列管理可实现按用户组的进行资源分配,如Session同时激活数、最大资源值等。通过资源管理功能,可以按用户级别进行资源分配和管理用户SQL查询优先级别,同时也能防止低质量SQL(如没有条件的多表join等)对系统资源的消耗。
3. 线性扩展
Greenplum与其他分布式大数据产品如Yonghong Z-DataMart一样采用了通用的MPP并行处理架构,在MPP架构中增加节点就可以线性提高系统的存储容量和处理能力。Greenplum在扩展节点时操作简单,在很短时间内就能完成数据的重新分布。
Greenplum线性扩展支持为数据分析系统将来的拓展给予了技术上的保障,用户可根据实施需要进行容量和性能的扩展。
4. 高性价比
Greenplum数据库软件系统节点基于业界各种开放式硬件平台,如SUN/HP/DELL等厂商的PC Server等,在普通的x86 Server上就能达到很高的性能,因此性价比很高,相比于其他封闭式数据仓库专用系统,Greenplum每TB的投资是前者的1/5甚至更低。同样,Greenplum产品的维护成本相比同类厂商也低许多。
5. 反应速度
我们面对的是一个瞬息变化的市场,谁能首先感知到市场的需求和变化,就能在竞争中先行一步,获得主动权,在竞争中立于不败之地。
Greenplum通过准实时、实时的数据加载方式,实现数据仓库的实时更新,进而实现动态数据仓库(ADW)。基于动态数据仓库,业务用户能对当前业务数据进行BI实时分析-“Just In Time BI”,能够让企业敏锐感知市场的变化,加快决策支持反应速度。
6. 高可用性
Greenplum是高可用的系统,在已有案例中最多使用了96台机器的集群MPP环境。除了硬件级的Raid技术外,Greenplum还提供数据库层Mirror机制保护,即每个节点数据在另外的节点中同步镜像,单个节点的错误不影响整个系统的使用。
对于主节点,Greenplum提供Master/Stand by机制进行主节点容错,当主节点发生错误时,可以切换到Stand by节点继续服务。
7. 系统易用
Greenplum产品是基于流行的PostgreSQL之上开发,几乎所有的PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上,在Internet上有着丰富的PostgreSQL资源供用户参考。
8. 最新进展
Greenplum 被EMC公司收购,将其整合到EMC云计算战略中。