1970 年,关系型数据库之父 E.F.Codd 发表《用于大型共享数据库的关系数据模型》论文,正式拉开数据库技术发展序幕。以 Oracle、DB2、SQL Server 为代表的三大商业数据库产品独占鳌头,随后涌现出 MySQL、PostgreSQL 等为代表的开源数据库 ,和以 Amazon RDS 等为代表的云数据库,拉开百花齐放的数据库新序幕。
我们知道,云计算十年为产业转型升级提供了 历史 性契机,但变革仍在进行,随着云计算的普及,数据库市场发生根本性改变,云厂商打破传统商业数据库的堡垒,成为数据库领域全新力量。其中以连续六年入选 Gartner 领导者象限的亚马逊云 科技 为代表,我们一起探讨:为什么亚马逊云 科技 能始终保持其创新性?纵观云原生时代下,亚马逊云 科技 数据库未来还有哪些更多的可能性?
01 面对四大数据库发展趋势,亚马逊云 科技 打造五大数据库理念
后疫情时代下,加速了不少行业的业务在线化和数字化运营,企业对数据价值挖掘的需求越发强烈,亚马逊云 科技 大中华区产品部总经理顾凡详细介绍其中四大趋势:
一是伴随互联网、移动互联网的发展,电商、视频、社交、出行等新应用场景的兴起,不仅数据量大,对数据实时性要求极高,传统关系型数据库无法满足需求,因此驱动云原生数据库的出现。
二是开源数据库的广泛应用。
三是应用程序现代化对数据库提出更高要求,期待数据库拥有更高的性能、可扩展性、可用性以及降低成本,让开发人员专注于核心业务的应用开发,不用关注和核心业务无关的代码。
四是软件架构历经 PC、互联网、移动互联网,再到如今的万物互联时代,其中的迭代和转型正在驱动数据库选型的变化。
在此四大趋势下,伴随企业的业务量越来越大、越来越复杂,对数据库的要求越来越高。亚马逊云 科技 洞察客户需求,在打造云上数据库产品时提出五大理念:
一是专库专用,极致性能;二是无服务器,敏捷创新;第三是全球架构,一键部署;第四是平滑迁移,加速上云;第五是 AI 赋能,深度集成。
02 历经真实锤炼,五大数据库理念,持续赋能企业数智转型
顾凡表示,随着数据爆炸式增长,微服务架构与 DevOps 愈发流行的今天,一个数据库打天下的时代已然过去。我们需要在不同的应用场景下,针对不同的数据类型和不同的数据访问特点,为开发者和企业提供专门构建的工具。
所以亚马逊云 科技 提出 第一个核心数据库理念:专库专用 。在此理念下,推出针对关系数据、键值数据、文档数据、内存数据、图数据、时许数据、分类账数据、宽列等专门构建数据库的产品家族。
这些数据库产品均经历过亚马逊内部核心业务的真实锤炼,成绩斐然:
亚马逊电商当年是 Oracle 的客户之一,随着亚马逊电商的应用重构和业务体量发展,亚马逊电商决定将业务迁移到亚马逊云 科技 里。100 多个团队参与这庞大的迁移工作中,将亚马逊电商采购、目录管理、订单执行、广告、财务系统、钱包、视频流等关键系统全部从 Oracle 迁出来。2019 年,亚马逊将存储近 7500 个Oracle 数据库中的 75 PB 内部数据迁移到多项亚马逊云 科技 的数据库服务中,包括 Amazon DynamoDB、Amazon Aurora、Amazon ElastiCache,于是亚马逊电商成为亚马逊云 科技 在全球的“第一大客户”。
从 Oracle 切换到亚马逊云 科技 后,亚马逊电商节省了 60% 成本,面向消费者端的应用程序延迟降低 40%,数据库管理支出减少 70%。
以被誉为“亚马逊云 科技 历史 上用户数量增速最快的云服务”Amazon Aurora 为例,其拥有科媲美高端商业数据库的速度和可用性,还拥有开源数据库的简单性与成本效益,Amazon Aurora 让客户满足“鱼和熊掌兼得”需求。
据顾凡介绍,Amazon Aurora 可提供 5 倍于标准 MySQL 性能,3 倍于 PostgreSQL 吞吐量。同时提供高可用,可用区(AZ)+1的高可用,Global Databases 可完成跨区域灾备。可扩展到 15 个只读副本,成本只有商业数据库的 1/10。
医药企业九州通为药厂、供应商,搭建药厂、供应商、消费者提供供应链链条。其 B2B 系统的业务特点是读多写少,受促销活动、工作时间等影响,经常会出现波峰波谷落差较大的情况,读写比例在 7:2 或者 8:3。九州通采用 Amazon Aurora 后实现读写分离和按需扩展,整体数据库性能提升 5 倍,TCO 降低 50%。实现了跨可用区部署、负载均衡、自动故障转移、精细监控、按需自动伸缩等。
据权威机构预测,到 2022 年,75% 数据库将被部署或迁移至云平台。在这个过程中,亚马逊云 科技 是如何通过技术来帮助客户加速应用上云的?这离不开除了上述的“专库专用”外,以下四大理念:
第二个理念是无服务器、敏捷创新。 亚马逊云 科技 大中华区产品部数据类产品高级经理王晓野表示,企业业务总有波峰波谷之时,如何按照企业 80-90% 的业务峰值来规划数据库的存储容量和计算资源的话,将给应用带来一定的业务连续性的妥协和挑战。因此大多数企业都是按照峰值留有余地来选择数据库的计算资源,这将造成成本上的浪费。而 Serverless 数据库服务可完成无差别的繁复工作和自动化扩展。
Amazon DynamoDB 是亚马逊云 科技 自研 Serverless 数据库,其诞生最早可追溯到 2004 年,当时亚马逊电商作为 Oracle 的客户,尽管对于关系型数据库在零售场景的需求并不频繁,70% 均是键值类操作,此时倒逼亚马逊电商思考:为什么要把关系型数据库这么重得使用?我们可以设计一款支持读写、可横向扩展的分布式数据库吗?后来的故事大家都知道了,这款数据库就是 Amazon DynamoDB,并在 2007 年发表论文,掀起业界 NoSQL 分布式数据库技术创新大潮。
Amazon DynamoDB 可为大规模应用提供支持,支撑亚马逊自身多个高流量网站和系统,如亚马逊电商网站、亚马逊全球 442 个物流中心等。在亚马逊电商一年一度 Prime Day,光是针对DynamoDB API 的调用达到数万亿次,最高峰值请求达到每秒 8920 万次。由此可见,DynamoDB 拥有高吞吐、扩展性、一致性、可预测响应延迟、高可用等优势。
智能可穿戴设备厂商华米 科技 ,在全球 70 多个国家拥有近 1 亿用户。仅 2020 年上半年,其手表出货量超 174 万台,截止到 2021 年 2 月,华米 科技 的可穿戴设备累计记录步数是 151 万步,累计记录的睡眠时间是 128 亿个夜晚,记录心率总时长达 1208 亿个小时。如此庞大的数据同时必须保证极高的安全性和低延迟相应,如何保证稳定性是巨大的挑战。
DynamoDB 帮助华米 科技 在任何规模下都能提供延迟不超过 10 毫秒的一致响应时间。华米 科技 健康 云的 P0 和 P1 级别故障减少了约 30%,总体服务可用性提升了 0.25%,系统可用性指标达到 99.99%,为华为 科技 全球化扩展提供了有力的支撑。
最新无服务数据库产品是 Amazon Aurora Serverless V2 提供瞬间扩展能力,真正把扩展能力发挥到极致,在不到一秒的时间内,将几百个事务扩展到数十万的级别。同时在扩展时每一次调整的增量都是非常精细化的去管理,如果按照峰值来规划数据库资源,可实现大概90%的成本节省。目前 Amazon Aurora Serverless V2 在全球实现预览。
第三个理念是全球架构、一键部署。 在全球化的今天,如何支撑全球客户的业务扩展连续性、一致性、以最低延迟带给到终端客户上,对数据库提出新的挑战。
亚马逊云 科技 提供 Amazon Aurora 关系型数据库Global Database、Amazon DynamoDB、Amazon ElastiCache 内存数据库、Amazon DocumentDB 文档数据库都能利用亚马逊云 科技 的骨干网络提供比互联网更稳定的网络支撑,以一键部署的方式,帮助客户实现几千公里跨区域数据库灾备,故障恢复大概能在一分钟之内完成,同时跨区域的数据复制延迟通常小于一秒。
第四个理念是平滑迁移、加速上云。 目前,450000+ 数据库通过亚马逊云 科技 数据库迁移服务迁移到亚马逊云 科技 中,这个数字每年都在不断增长。亚马逊云 科技 提供 Amazon DMS、Amazon Database Migration Service 等工具让开发者和企业进行自助式云迁移。另外,对于迁移过程中可能会需要的支持,可通过专业服务团队和合作伙伴网络成员,为客户提供专业支持,还通过 Database Freedom 项目帮助客户降低他们的顾虑。
今年 11 月,最新产品 Babelfish for Amazon Aurora PostgreSQL 在全球和中国两个区域正式可用,可加速企业上云的迁移,实现让企业可以利用原有的技术栈、原有的 SQL Server T-SQL的人员可以利用到云数据库进行创新。
第五个理念是 AI赋能,深度集成。 我们观察到,ML 技术赋能数据库开发者,开发者无需具备机器学习专业知识,就可进行机器学习操作。在此潮流下,亚马逊云 科技 推出 Amazon Neptune,借由 Deep Graph Library 和 Amazon SageMaker 驱动图神经网络。
今年 8 月,Neptune ML 在中国正式可用,允许数据工程师不需要掌握机器学习的技能直接从图数据库里导出数据、转换格式、训练模型并发布,用 gremlin 语句调用训练成的模型在数据库里实现推理,进行欺诈检测,推荐物品。
目前,亚马逊云 科技 加速在中国区域服务落地,2021年至今新发布 60 多个数据库服务与功能。亚马逊云 科技 正是通过上述五大数据库理念,打造丰富的数据库产品家族,在全球智能化发展趋势下,为企业提供更快更好的数智服务,释放数据价值,并连续六年入选 Gartner 领导者象限,得到业界和客户的深度认可。
数字经济正在影响着人们生活和工作的方方面面,对于企业来说同样也如此,当前,随着全球企业数字化转型进程的加快,越来越多的企业都在寻求更加宽广的全球化发展机遇,对于中国企业来说,在近些年数字技术的推动之下,“走出去”的愿望和需求变得越来越旺盛。
数据显示,中国对外直接投资流量和存量已经连续四年稳居全球前三的位置,有近八成的中国企业将会在未来维持或扩大对外投资的意向。由此不难看出,中国企业不断看好对外投资的前景和发展机遇,在很大程度上也正在带动中国企业实现全球化市场发展的进程。
事实上,中国企业在实现“走出去”的过程当中,也正在经历从“数字化出海”向“出海数字化”转变的过程,正是因为积极拥抱数字化技术,使得越来越多的行业和细分领域加入到出海大军当中,从而实现企业自身的产品升级和品牌升级,进而实现中国出海企业的“弯道超车”。
01 中国企业的出海实践
汇量 科技 (Movista)是一家围绕着应用开发者展开商业创新的企业,以推广和广告收入实现商业变现,公司从2013年创立之初开始就伴随着中国整体企业出海的浪潮,获得了不错的市场发展机遇。
面对全球化的发展机会,汇量 科技 服务着大量的全球化客户,在中国、欧美、亚太等很多国家和地区均拥有数量庞大的客户与用户群体,从实际的产品品类上来看, 游戏 业务占到了目前汇量 科技 客户服务的60%-70%,此外在内容与社交、电商等细分领域当中,汇量 科技 也位居同行业企业前列。
在知名广告渠道公司Appsflyer发布的全球实力榜单排名当中,汇量 科技 旗下的在线程序公司Mintegral从用户留存维度上已经成为了排名前五的唯一一家中国企业。
值得一提的是,汇量 科技 是一家典型的成立即瞄准出海的中国企业,汇量 科技 副总裁奚原告诉笔者,在整个出海与业务 探索 的过程当中,汇量 科技 观察到了三个市场特点,首先是当时的出海企业同现在相比处于零星 探索 的阶段,从数量上来看相对较少;其次是对于边缘市场来说,当时的开发者更多的分布在中国周边的一些国家,比如东南亚等地区,相对于主流的欧美以及日韩市场来说,用户还相对畏惧;第三是当时的中国本土市场还是一个增量市场,因此海外的收入对于大部分应用开发者来说是锦上添花的一件事,用户并不会花费太多的时间和精力在海外市场中。
对于汇量 科技 自身的业务来说,其主要的业务是集中在在线的广告平台当中,其中涉及到了大量的在线计算需求,这样一来,如何解决超低延时的问题从而满足广告的实时预测与广告的个性化推荐,无疑就成为了摆在汇量 科技 面前亟待解决的问题。
同时,以集聚成本优势的方式来满足超大规模的计算与分析要求,面对高标准、高要求,以及全球化业务自身的很多特点,使得汇量 科技 在实现自身业务 探索 与创新的过程当中,开始寻求利用云计算技术来满足自身日益增长的业务创新需要。
由于自身业务的快速增长,汇量 科技 开始快速将自身的业务搭建在亚马逊云 科技 基于全球化部署的服务器上,每天高达一千亿至两千亿的广告请求,使得汇量 科技 需要进行大量PB级模型的建模与校验工作,通过利用原生架构搭建出的基础设施,对诸如节假日等特殊时期带来的业务需求和业务压力进行有效应对。
此外,除了对于云服务在性能方面的应用需求,成本对于汇量 科技 的大量业务模型来说也同样至关重要。通过利用亚马逊云 科技 所提供的容器化、无服务架构演进等微服务,使得汇量 科技 可以有效提升自身对于资源系统的利用效率,通过运用灵活的架构模型针对客户的不同应用场景进行有效应对,从而帮助汇量 科技 实现了更加灵活、多变的创新服务能力。
02 亚马逊云 科技 做了什么
毫无疑问,企业客户出海的需求往往是多维度、全方位的,因此对于所提供服务的云计算厂商来说,需要从出海企业客户自身的业务属性以及企业的商业战略出发,着手于客户最根本的业务发展需要,从而更加精准、高效地帮助出海企业客户实现发展目标。
广告和营销 科技 产品的开发者技术服务平台,是汇量 科技 自身主要的业务发展方向,大多数的技术创新与服务落地也都围绕着这两方面进行展开,在亚马逊云 科技 所提供的安全合规服务基础之上,汇量 科技 相继完成了GDPR合规升级、ISO/IEC27001认证、SOC Type1和Type2报告。
通过隐私计算技术的融入,汇量 科技 结合第三方对广告投放效果进行优化,从而在保证客户数据安全的前提下,实现了广告投入效果的大幅度提升。出于汇量 科技 对于数据请求规模巨大、数据实效性要求高、数据稀疏性较强等特征和应用诉求,通过与亚马逊云 科技 进行深入合作,成功打造了专属的大数据机器学习平台,极大地提升了汇量 科技 的广告收入,能够轻松应对日均10亿台独立移动设备在线数据请求,高效处理超2000亿次的线上预测。
面对企业出海过程中广告业务的全球化部署需要,汇量 科技 在进行广告业务创新的过程当中,对系统的稳定性有着非常高的要求,在流量高峰出现的情况下,需要系统能够快速处理点击量的瞬间上升,这对于整个系统的可扩展性能力是一个不小的挑战。因此不难发现,利用云计算厂商所提供的技术服务可以帮助出海企业在降本增效方面实现更好的突破。
汇量 科技 从成立之初就始终跟进技术创新与发展的潮流,同时将技术创新与业务紧密贴合,在选准赛道的同时,也抓住了市场发展的红利,在与亚马逊云 科技 之间构建起的深度合作当中,除了对于资源与服务的全方位应用之外,汇量 科技 也正在尝试通过亚马逊云 科技 Marketplace为社区做出自身的技术创新贡献。
SpotMax就是汇量 科技 在去年做出的一款产品,利用Amazon EKS的容器管理等服务,结合汇量 科技 自身对于行业的洞察能力,从而能够更好地部署与管理容器集群,并且将这种能力通过亚马逊云 科技 Marketplace开放给全球的客户。
03 全面推进“All in Cloud”战略
奚原指出,客户对于汇量 科技 在业务创新过程当中的主要需求,集中在广告推送的精准度方面,例如地铁灯箱广告,如果需要进行广告更换,那么势必需要在地铁停止运行的时间段,对灯箱物料进行替换等线下操作,但是对于之前的一系列广告服务流程来说,从定向、媒体对接、出价、到实时竞价等不同阶段都是在线完成的,并且均在毫秒级时间内实现,可以帮助客户有效降低购买成本。而这一切业务操作的背后全部都是通过云计算来实现的,从价值体现来说,客户对于广告精准度、实时性等应用需求也能够得到有效保证。
毫无疑问,亚马逊云 科技 在汇量 科技 这些业务创新的背后,提供着基础架构层面的强力支撑,从而保证性能以及系统稳定性的持续推进。这也是汇量 科技 将自身业务全部上云的底气。
当前,随着汇量 科技 自身业务的快速增长,每日的平均广告请求量已经从2017年的180亿次增长至2000亿次,同时,随着海外业务的持续扩展,汇量 科技 自身的“All in Cloud”战略和系统架构正在发挥着重要作用,亚马逊云 科技 所提供的全球化服务正在帮助全球化业务飞速增长的汇量 科技 实现资源与业务规模的动态匹配。
广告行业客户的上云历程其实只是亚马逊云 科技 实现行业深耕与创新的“冰山一角”,利用更加领先、全面、安全的技术创新能力推动更多的企业实现出海,进而带动不同地区经济的快速增长,是未来云计算技术进行行业深耕的重要突破点,同时这也是亚马逊云 科技 身上所肩负的创新使命。
欢迎分享,转载请注明来源:夏雨云
评论列表(0条)