签到成功

知道了

CNDBA社区CNDBA社区

分布式HTAP数据库 TBase 概述

2020-07-14 20:30 5004 0 转载 TDSQL
作者: dave

TBase 是腾讯开源的分布式HTAP数据库, TBase 集高扩展性、SQL 高兼容度、完整的分布式事务支持、多级容灾及多维度资源隔离等功能于一身,采用无共享的集群架构,提供容灾、备份、恢复、监控、安全、审计等全套解决方案,适用于GB级 - PB级的海量 HTAP 场景。

TBase 基于Postgresql 来进行研发,开源地址如下:http://www.cndba.cn/cndba/dave/article/4202http://www.cndba.cn/cndba/dave/article/4202

https://github.com/Tencent/TBase
https://gitee.com/mirrors/tbasehttp://www.cndba.cn/cndba/dave/article/4202http://www.cndba.cn/cndba/dave/article/4202

1. TBASE 特性

HTAP 事务和分析双引擎

事务和分析混合处理技术(Hybrid Transactional/Analytical Processing,HTAP)要求资源诉求矛盾的两种业务类型在同一个数据库实例中完成处理。传统的数据库因各方面的限制,偏向于 OLTP 或 OLAP 的场景,两者很难兼得。TBase 经过专门的设计能很好的支持 HTAP,同时具备高效的 OLTP 处理能力和海量的 OLAP 能力,降低业务复杂度和成本。

TBase 在集群的协调节点(Coordinator Node,CN)提供 OLTP 和 OLAP 两个平面视角。OLTP 业务运行在存储节点(Datanode,DN)的主节点,OLAP 业务运行在 DN 的备节点,二者数据同步采用流复制的方式。TBase 内核优化器会根据查询所在的平面选用对应的优化器,同时 OLTP 和 OLAP 平面针对不同的负载采用合适的存储格式。http://www.cndba.cn/cndba/dave/article/4202

行列混合存储

行存储是 TBase 的基本存储格式,为支持高效的 OLAP,TBase 还提供了完整的列存储能力,业务可以根据需要对写入数据库中的数据选择对应存储格式。TBase 列存储支持强大的压缩能力,包括透明压缩和轻量级压缩,透明压缩支持 gzip,zstd 等压缩算法,轻量级压缩算法可根据数据的特征进行高效压缩,压缩比高达400+。http://www.cndba.cn/cndba/dave/article/4202

分布式事务全局一致性

TBase 引入全局事务管理节点(Global Transaction Manager,GTM)来专门处理分布式事务一致性,通过拥有自主专利的分布式事务一致性技术,即两阶段提交(Two Phase Commit)和全局时钟(Global Timestamp)策略来保证在全分布式环境下的事务一致性。同时TBase 提供了分布式事务可靠性保证机制来避免资源阻塞、数据不一致和协调节点宕机等问题。http://www.cndba.cn/cndba/dave/article/4202http://www.cndba.cn/cndba/dave/article/4202

SQL 高兼容度

TBase 在 SQL 兼容性上具备很大优势,兼容绝大多数的 PostgreSQL 语法,包括复杂查询、外键、触发器、视图、存储过程等,可满足大部分企业用户的需求。同时 TBase 还兼容大部分的 Oracle 数据类型、函数,此特性可方便 Oracle 业务迁移到 TBase 数据库。

HTAP 融合性数据库

TBase 经过专门设计充分的支持 HTAP,同时具备高效的 OLTP 处理能力和海量的 OLAP 能力,降低业务复杂度和成本。

完整的行列混合存储

行存储是 TBase 的基本存储格式,为支持高效的 OLAP,TBase 还提供了完整的列存储能力,业务可以根据需要对写入数据库中的数据选择对应存储格式。

多级安全策略

传统数据库系统的超级用户权限极大,不容易受到制约,也不利于数据库安全体系的建立,TBase 的三权分立体系,将传统 DBA 的角色分解为安全管理员、审计管理员、数据管理员三个相互独立的角色。安全管理员可以针对业务需求,配置数据加密规则对数据进行加密,保证数据不被泄露。http://www.cndba.cn/cndba/dave/article/4202

高效的数据治理能力

数据治理包括数据倾斜的治理和冷热数据分级存储:
数据倾斜的治理用以解决数据分布不均带来的存储及性能压力。
冷热数据分级存储用以降低业务的存储成本、提升热数据的性能。http://www.cndba.cn/cndba/dave/article/4202

2. TBASE 部署类型

TBase 在部署时可以选择集中式和分布式部署。TBase的分布式集群架构如下图, 该架构分布式为无共享(share nothing)模式,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间流转,各处理单元之间通过网络协议进行通信,并行处理和扩展能力更好。

用户评论
* 以下用户言论只代表其个人观点,不代表CNDBA社区的观点或立场
dave

dave

关注

人的一生应该是这样度过的:当他回首往事的时候,他不会因为虚度年华而悔恨,也不会因为碌碌无为而羞耻;这样,在临死的时候,他就能够说:“我的整个生命和全部精力,都已经献给世界上最壮丽的事业....."

  • 2283
    原创
  • 3
    翻译
  • 579
    转载
  • 196
    评论
  • 访问:8178551次
  • 积分:4428
  • 等级:核心会员
  • 排名:第1名
精华文章
    最新问题
    查看更多+
    热门文章
      热门用户
      推荐用户
        Copyright © 2016 All Rights Reserved. Powered by CNDBA · 皖ICP备2022006297号-1·

        QQ交流群

        注册联系QQ