设为首页 - 加入收藏
广告 1000x90
您的当前位置:主页 > 教程 > 数据库 > 正文

首页(摩臣娱乐)首页

来源:未知 编辑:天选资讯 时间:2023-04-15

  首页(摩臣娱乐)首页招商q+83670629当前,国产化和自主可控已经成为科技领域最重要、最紧迫的战略。但是,在先进芯片、操作系统、大型分布式数据库方面,我们还缺乏市场的主导权,我们还需要真实的产品而不是实验室成果,来证明我们可以实现从 平替 到 优选 的跃迁。

  为此,有这么一支团队,打算冲击世界数据库的顶峰榜单,用产品说话,用产品和用户沟通,证明我们加强在核心关键领域的 create by china,是可以通过日积月累而实现的。

  现在,他们成功了,至少从某个维度上,他们证明了中国已经拥有全世界最强大的分布式数据库之一。

  在这个特殊的历史窗口期,这个成绩的取得,至少证明 卡 在我们经济咽喉上的手,又少了一只。

  2023 年 2 月 18 日的晚上,一通越洋会议以后,腾讯云数据库技术负责人潘安群的脸色糟糕到了极点。

  就在几分钟之前,国际事务处理性能委员会(TPC)的一位身在美国东部的审核员通过视频会议告诉他,因为此前数据导入的设置某个随机参数有问题,不能够在目前搭建的环境中进行 TPC-C 测试。

  潘安群的脑子里,不停的回响着两个月以前向公司申请参加 TPC 测试时的场景。

  1653 台物理服务器,再加上 1000 台虚拟机,这相当于一家大型银行把用来跑数据库的服务器集群的 1/3-1/2 都给了你 ,相关负责人说: 要是搞砸了,那你和我就只有提头去见……

  但潘安群笑了,他要的就是这一句线 日,Omri Serlin 先生说服了八家公司成立了 TPC,从而启动了计算机行业的第一个标准机构,它从一开始就是为评估计算机系统的商业能力而生的。而 TPC-C 作为该组织最知名的评测规范,则是为评估 OLTP(联机事务处理过程)而设置。简单说,它开创性的把数据库 + 联网条件下的性能作为核心测试目标,从而成为现代金融业进入信息化时代的评估基准之一。

  天选团队

  有很多我们耳熟能详的企业是这个机构的会员,包括微软、亚马逊、英特尔、英伟达、AMD 等,随着中国 IT 产业的崛起,也有阿里、清华大学等国内机构成为 TPC 的会员和准会员。

  除了时间不够用的问题,审计员的 解说 也是不够详尽的,因为针对数据分布、测试时间等要求有许多规则和限制,但审计员每次开会都只会介绍一小部分,很难详尽展开说明。

  但团队已经顾不上琢磨审计员的态度,因为出了问题的数据不是一点点,而是—— 20 万亿个订单。

  在解释为什么有 20 万亿个订单之前,我们先直接跳到测试的结尾,对于 TPC-C 的测试来说,有各种数据维度,但最核心的是有两个——每分钟完成的事务数(tpmC)与完成每个 tpmC 的成本价格(price/tpmC)。

  前者反映的是处理能力,后者反映的是控制成本的能力。同时,它们还是一套自洽的反作弊机制——如果企业通过追加服务器来提升处理能力,那必然反映为难看的硬件成本飙升,所以这两个数据必须都好,才算赢。

  之所以举这两个例子,是因为这代表腾讯这样的从 C 端业务起家的中国互联网企业的典型场景——早期技术实力不够雄厚,但场景丰富、用户数量惊人,因此对系统的弹性和成本十分在意。

  但这和金融业的要求是恰恰相反,银行要求的是毫厘不差,缺的是技术而不是预算,所以早期是清一色的 IOE(IBM 大型机 +Oracle 数据库 +EMC 存储),优点是可靠性非常高,但扩展性差,而且非常昂贵。所以我们极少听说什么银行储户的账户里的钱算错了,如果线 块钱也是报纸的头条。

  而分布式系统的特点是因为分布在广阔的集群中,设备规模远大于集中式,从概率上说出小错的概率要高于集中式,但因为通过分布式架构稀释了风险,所以具有系统韧性好、成本低、可扩展性强的特点。某种程度上,其弥补错误的成本也很低。随着时代的进步,越来越多的企业开始放心的使用分布式系统,例如,中国排行前十的银行中至少有 7 家采用了腾讯云分布式数据库系统。

  分布式系统有突出的优点,例如银行的系统虽然固若金汤,但一旦出现不可抗力(比如地震),那单点的数据中心就会团灭;而一个分布式系统哪怕有 20% 的机器歇菜,大部分数据仍可从其它备份点中得以保全。

  这两条道路原本代表着截然不同的需求和适用于不同的场景,但一个现实的压力要求它们必须交汇——那就是随着中国的互联网公司越来越深入的走入产业互联网领域,其云计算、云数据库的客户也必将从互联网企业变成银行等大型政企机构,这就给腾讯数据库团队提出了一个难题——必须证明你们基于分布式路线发展出来的云数据库,能够达到一向走高精尖的集中式路线的金融业的要求。

  我想,这才是数据库团队参加 TPC-C 这个 商业数据库领域的奥林匹克 的终极原因,他们必须证明自己虽然没有天生的金融基因,但自研的数据库干得了金融业的活。

  从另一个角度看过来,腾讯数据库总经理王义成对推动这次打榜也很有信心,因为它经过多年的实际业务打磨,王义成如数家珍的告诉笔者——财付通、Q 币、腾讯音乐、腾讯会议都是 TDSQL 的磨刀石,他甚至不乏幽默的说: 其实你的钱很可能就在我们的数据库里,因为我们还支持了微众银行、微信支付……可以说整个腾讯生态的经济系统都运行在 TDSQL 上,所以我们有充足的信心和经验。

  在近 50 天的前期准备中,他们其实是为 4 个核心测试在做准备,而其中最难的就是第一项—— 8 小时全压力测试。

  我们知道,计算机系统在进行特定优化的时候,可以达到一个很高的峰值——类似开车的时候把油门踩到底,但这个时间只能持续很短,否则汽车就会爆缸。

  而 TPC-C 的挑战就在于,要求整个 8 小时过程中间一直保持高负载,并且在这种数据量不断往里面增加的情况下,要求系统能跑到整个 8 个小时内的极限 tpmC(每分钟最高的处理事务),但同时又要求这个最高值跟每分钟最低的值的差不能超过 2%,也就是波动率要小。

  这就相当于电影《生死时速》里的场景——不管道路如何,汽车只能开快不能开慢,只要慢一点,炸弹就会爆炸,8 小时油门一直要踩到底。

  而在实测的那一天,当整个系统飙升到每分钟 8 亿次以上时,视频会议接通了,大洋彼岸的审计员提了一个苛刻的要求,立刻拔掉服务器列表上随机的几台服务器的电源……而且这一切要发生在审计员的眼皮底下。

  一个项目组的同事举着手机走进机房,在实时的视频下拔掉了服务器的电源……这一刻,考验的是服务器容灾切换的能力……如果说前面的测试是驾驶着装了炸弹的汽车,那此刻考验的就是——不但炸弹不能爆,还要在开着车的状态下换轮子。

  数据库团队紧张地盯着现场,TPC-C 规范要求的是 30 秒内必须恢复。事实上,只要 18 秒钟,系统将继续恢复到 8.14 亿次 / 分钟的水准。

  最后,数据定格在 8.14 亿次 tpmC,这个数据可以理解为—— 14 亿中国人中的六成人,从早上 8 点起开始,以每分钟下一个订单的速度给腾讯数据库下单,而且一直下单持续到 17 点下班,中间还经历了两次随机物理机器断电和一次腾讯云实例的故障模拟,最终波动率为 0.2%,仅为要求的十分之一——这也说明了,腾讯自研的分布式架构的 TDSQL 数据库,在稳定性上甚至超过了基于集中式系统制定的测试基准,这将成为分布式云数据库发展史上的一个里程碑;而最终 4 万亿次的结果则意味着,他们在一个现实中从未达到的高度上完成了测试。

  同时,每次的处理成本仅折合 1.27 元人民币,是上一次打榜企业 3.98 元的三分之一。这就意味着,腾讯用对手三分之一的单位成本,就扛住了更大规模的并发,这是 TPC 创立以来的最高纪录,也是目前的世界纪录。

  我们认为,做国产数据库不仅要坚持长期投入,而且不能闭门造车,发展到一定阶段后,必须要去打一次榜。不但能够提前发现问题,攻克很多未来可能遇到的技术难题,也是对产品能力更全面的验证 ,腾讯副总裁蒋杰在采访中表示。

  3、一切都已发生过 / 拿产品去说线 多天了,我们连去洗手间都是跑着去的。这不是因为我们的产品不成熟,而是规范和测试及审计太复杂。但我知道,再过一天,无论发生什么,短期内我们都不会有再来一次的机会 ,TDSQL 专家工程师雷海林说: 但我们是有信心的,因为我们的数据库早就经过无数次的真实场景的测试。

  但更难的是核心替换,王义成认为,TDSQL 之所以能实实在在的拿下客户,是因为已经形成了一套整个去 Oracle 的解决方案, 从对 Oracle 的兼容,然后到 Oracle 语法的改写,最后做到给客户承诺迁移后不能有性能损失,都是一路上的难关和挑战,但也是我们致胜的关键,或者说是国产化替换的解决方案的灵魂就是——不但可以替换,还可以更好。

  但张家港农商银行的实践最终证明,一年之内,使用了 TDSQL 的核心系统,在高业务量的情况下,系统负载也基本不超过 10%,可谓轻松胜任,总体成本则降低了 75%,对于大量新业务支持良好……而那套本用来 赛马 的系统,则自动降格成为了灾备系统,中国国内银行第一次完整的将核心系统迁移到国产分布式数据库上的实践成功了,张家港农商行也注定被写入中国银行史上的一页。

  TDSQL 已服务腾讯内部和腾讯云上数千家金融、政务、社交、电商、交通、游戏等行业客户。

  王义成则告诉笔者,目前 TDSQL 已经研发出了五种赋能方式,包括公有云、私有云、一体机、软件部署加内核输出,足以满足不同客户的差异化极大的需求。

  值得乐观的是,人们对数字化、智能化能力的需求,是一条单行道。目前,在金融领域、政务领域等大门类中,对数据的存储、处理、挖掘都有更强的需求,而当前信息科技工具应用普遍需要较高门槛,市场亟需更多符合中国特色、满足中国用户特色需求的信创产品。天选

相关推荐:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片

织梦模板大全 dedecms.codesdq 联系QQ:121673232 邮箱:121673232@qq.com

Copyright © 2002-2011 DEDECMS. 织梦科技 版权所有 Power by DedeCms

Top