签到成功

知道了

CNDBA社区CNDBA社区

分布式HTAP数据库 TBase 概述

2020-07-14 20:30 5138 0 转载 TDSQL
作者: dave

TBase 是腾讯开源的分布式HTAP数据库, TBase 集高扩展性、SQL 高兼容度、完整的分布式事务支持、多级容灾及多维度资源隔离等功能于一身,采用无共享的集群架构,提供容灾、备份、恢复、监控、安全、审计等全套解决方案,适用于GB级 - PB级的海量 HTAP 场景。

TBase 基于Postgresql 来进行研发,开源地址如下:http://www.cndba.cn/cndba/dave/article/4202http://www.cndba.cn/cndba/dave/article/4202

https://github.com/Tencent/TBase
https://gitee.com/mirrors/tbase

1. TBASE 特性

HTAP 事务和分析双引擎

事务和分析混合处理技术(Hybrid Transactional/Analytical Processing,HTAP)要求资源诉求矛盾的两种业务类型在同一个数据库实例中完成处理。传统的数据库因各方面的限制,偏向于 OLTP 或 OLAP 的场景,两者很难兼得。TBase 经过专门的设计能很好的支持 HTAP,同时具备高效的 OLTP 处理能力和海量的 OLAP 能力,降低业务复杂度和成本。http://www.cndba.cn/cndba/dave/article/4202

TBase 在集群的协调节点(Coordinator Node,CN)提供 OLTP 和 OLAP 两个平面视角。OLTP 业务运行在存储节点(Datanode,DN)的主节点,OLAP 业务运行在 DN 的备节点,二者数据同步采用流复制的方式。TBase 内核优化器会根据查询所在的平面选用对应的优化器,同时 OLTP 和 OLAP 平面针对不同的负载采用合适的存储格式。

http://www.cndba.cn/cndba/dave/article/4202

行列混合存储

行存储是 TBase 的基本存储格式,为支持高效的 OLAP,TBase 还提供了完整的列存储能力,业务可以根据需要对写入数据库中的数据选择对应存储格式。TBase 列存储支持强大的压缩能力,包括透明压缩和轻量级压缩,透明压缩支持 gzip,zstd 等压缩算法,轻量级压缩算法可根据数据的特征进行高效压缩,压缩比高达400+。

分布式事务全局一致性

TBase 引入全局事务管理节点(Global Transaction Manager,GTM)来专门处理分布式事务一致性,通过拥有自主专利的分布式事务一致性技术,即两阶段提交(Two Phase Commit)和全局时钟(Global Timestamp)策略来保证在全分布式环境下的事务一致性。同时TBase 提供了分布式事务可靠性保证机制来避免资源阻塞、数据不一致和协调节点宕机等问题。http://www.cndba.cn/cndba/dave/article/4202

SQL 高兼容度

TBase 在 SQL 兼容性上具备很大优势,兼容绝大多数的 PostgreSQL 语法,包括复杂查询、外键、触发器、视图、存储过程等,可满足大部分企业用户的需求。同时 TBase 还兼容大部分的 Oracle 数据类型、函数,此特性可方便 Oracle 业务迁移到 TBase 数据库。http://www.cndba.cn/cndba/dave/article/4202http://www.cndba.cn/cndba/dave/article/4202

HTAP 融合性数据库

TBase 经过专门设计充分的支持 HTAP,同时具备高效的 OLTP 处理能力和海量的 OLAP 能力,降低业务复杂度和成本。http://www.cndba.cn/cndba/dave/article/4202

完整的行列混合存储

行存储是 TBase 的基本存储格式,为支持高效的 OLAP,TBase 还提供了完整的列存储能力,业务可以根据需要对写入数据库中的数据选择对应存储格式。

多级安全策略

传统数据库系统的超级用户权限极大,不容易受到制约,也不利于数据库安全体系的建立,TBase 的三权分立体系,将传统 DBA 的角色分解为安全管理员、审计管理员、数据管理员三个相互独立的角色。安全管理员可以针对业务需求,配置数据加密规则对数据进行加密,保证数据不被泄露。

高效的数据治理能力

数据治理包括数据倾斜的治理和冷热数据分级存储:
数据倾斜的治理用以解决数据分布不均带来的存储及性能压力。
冷热数据分级存储用以降低业务的存储成本、提升热数据的性能。

http://www.cndba.cn/cndba/dave/article/4202

2. TBASE 部署类型

TBase 在部署时可以选择集中式和分布式部署。TBase的分布式集群架构如下图, 该架构分布式为无共享(share nothing)模式,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间流转,各处理单元之间通过网络协议进行通信,并行处理和扩展能力更好。

http://www.cndba.cn/cndba/dave/article/4202

用户评论
* 以下用户言论只代表其个人观点,不代表CNDBA社区的观点或立场
dave

dave

关注

人的一生应该是这样度过的:当他回首往事的时候,他不会因为虚度年华而悔恨,也不会因为碌碌无为而羞耻;这样,在临死的时候,他就能够说:“我的整个生命和全部精力,都已经献给世界上最壮丽的事业....."

  • 2296
    原创
  • 3
    翻译
  • 582
    转载
  • 198
    评论
  • 访问:8506912次
  • 积分:4477
  • 等级:核心会员
  • 排名:第1名
精华文章
    最新问题
    查看更多+
    热门文章
      热门用户
      推荐用户
        Copyright © 2016 All Rights Reserved. Powered by CNDBA · 皖ICP备2022006297号-1·

        QQ交流群

        注册联系QQ