分析型数据库如何创新? GOTC 2023议题揭秘
在群雄逐鹿的OLAP数据库市场,开源引擎ClickHouse凭借其出色的性能成为公认的黑马。官方称其性能超过了市场上同类的列式数据库,每台服务器每秒可处理数亿到超过十亿行、体积达数十GB的数据,运行速度比传统数据库快100-1000倍。
高效运行速度的另一面,还隐含着成本、性能、容量等诸多问题,比如不支持事务,不能够保证数据的一致性和完整性,不存在隔离级别,不支持高并发等等。这导致2016年开源的ClickHouse难以应对当下更加复杂,数据规模更加巨大的场景需求。
比如在字节内部,从2018年引入ClickHouse,因为业务的发展,要服务于大量的用户,数据规模变得越来越巨大。由于ClickHouse是Shared-Nothing的架构,每个节点是独立的,不会共享存储资源等,因而计算资源和存储资源是紧耦合的。这导致扩缩容成本变高,且会涉及到数据迁移,不能实时按需的扩缩容,从而导致资源的浪费。此外,ClickHouse的紧耦合的架构会导致多租户在共享集群相互影响,另外由于读写在一个节点完成,导致读写受到影响,最后ClickHouse在复杂查询上例如多表join等的性能支持并不是很好。
ByConity是一个开源的云原生数据仓库,采用存储-计算分离的架构。它支持多个关键功能特性,如存储计算分离、弹性扩缩容、租户资源隔离和数据读写的强一致性等。通过利用主流的OLAP引擎优化,如列存储、向量化执行、MPP执行、查询优化等,ByConity可以提供优异的读写性能。
ByConity的一个重要优势是存储-计算分离的架构,它实现了读写分离和弹性扩缩容。它的优势是高弹性和高扩展性。这种架构确保读操作和写操作不会相互影响,使得计算资源和存储资源解耦,两者可以按需的且独立的扩缩容,确保资源高效利用。此外,ByConity支持多租户资源隔离功能,保证不同租户之间不会互相影响,使ByConity适用于多租户环境,如图2。
ByConity支持弹性的扩缩容,能够实时、按需的对计算资源进行扩缩容,保证资源的高效利用。并且它能对不同的租户进行资源的隔离,租户之间不会受到相互影响。其另一个重要功能是数据读写的强一致性,确保数据始终是最新的,读写之间没有不一致。此外,ByConity采用了主流的OLAP引擎优化,例如列存、向量化执行、MPP执行、查询优化等,来保证提供了优异的读写性能。
之所以采用开源的模式,ByConity项目组是希望能够把项目回馈给社区,同时也希望通过社区的力量加强和完善ByConity。接下来,ByConity在2023开源社区发展规划中,希望增强ByConity的功能、性能和易用性,重点关注开发新的存储引擎、支持更多的数据类型和与其他数据管理工具的集成领域。
5月27日至28日,GOTC2023将于上海举办为期2天的开源行业盛会。大会将以行业展览、主题发言、专题论坛、开源市集的形式展现,与会者将一起探讨元宇宙、3D与游戏、eBPF、Web3.0、区块链等热门技术主题,以及开源社区、AIGC、汽车软件、AI编程、开源教育培训、云原生等热门话题,探讨开源未来,助力开源发展。
相关文章:
相关推荐:
网友评论: