“今年6月1日0时,网络发言防和谐器对于我们技术部门是一次考试。”在谈及今年618的备战时,京东零售技术与数据中台研发高级总监尚鑫表示。他坦言,这一时刻,是自己除618当天之外唯一紧张的时间节点。
近几年来,京东618年中大促从6月18日当天,拓展至6月1日至20日的时间段,此举直接导致1日0时会有一个订单小高峰。并且,通过首日高峰期的单量,能够进一步预判6月18日当天的订单量情况,因此这一天也尤为重要。而今年之所以如此严阵以待,不仅因为大促对技术系统的要求更高了,同时它也是京东技术和数据大中台首次在618亮相。
不过,6月首日“考试”之后,尚鑫明显放松了下来。在他看来,京东零售集团的在技术上的升级和优化已经得到了初步验证。“之前我们的技术一直在沉淀,如今则到了成果的收获期。今年无论是确立组件化模式、推进国际化战略,或是优化计算资源挑战技术极限,这都是过去技术积累的成果。”
之所以如此,www.gradjob.com.cn还是功夫用在了平时。“从2017年8月开始,我们便开始打造技术中台,到2018年下半年,技术与数据中台开始真正提升到零售集团的战略层面。”作为今年618技术备战总指挥,京东集团副总裁、京东零售技术与数据中台负责人黎科峰介绍称,“618大促既是京东研发体系的试金石、考试场,也是整个研发体系全面参与、共同推动、协作完成的盛大节日。”
这也就意味着,京东正在将过去十几年积累的技术Know how标准化、组件化、平台化、系统化。由此带来最显见的变化是,过去需要长达半年时间备战的大促,如今只要提前一两个月便能够完成技术备战。“今年我们从5月初开始备战,模拟峰值流量,进行系统评估并预案准备。相较于往年,如今的我们会更加从容一些。”尚鑫表示。
轻松备战618
自2007年加入京东担任软件工程师开始,尚鑫已经参与了12次618年中大促。
期间,既发生过流量暴增数倍的紧张,也有面对临时需求时的慌忙。“我还记得2008年时618大促正赶上技术升级,大部分技术人员都拉出去做封闭式开发,只有3个人进行备战准备,青岛商务管理学院”尚鑫回忆道,“那次流量在大促当天增长了3倍,也有临时促销的需求,整个团队都处于紧张状态。”
今年则有所不同。6月1日零点一过,暴增的流量四面涌来,但京东技术系统顺利地扛了下来,“按照我们内部的说法,就是能够保证消费者体验如丝般顺滑。”尚鑫甚至就此开起了玩笑,自信神色溢于言表。
需要注意的是,今年618大促对技术团队的要求其实是更高了。5月底,京东零售集团CEO徐雷在内部誓师大会上表示,618大促会存在T级活动需求。所谓T级,是指数据量以Tb为单位进行计算,这也意味着,无论从规模、玩法还是玩家参与量级,今年均是前所未有的庞大。
5月底提出需求,进入6月就需要实现,这毫无疑问将考验京东技术团队的实力。“按照过往经验,青铜装饰锤这样的扩容至少需要一两个月才能完成,不过这次,我们三四天就完成了配置。”尚鑫在介绍时不无自豪。
更难得的是,今年京东技术团队在满足T级活动需求的同时,做到了不增加服务器资源。“通常而言,一旦流量接近系统极限,首先的思路都是堆机器,但今年我们给自己提出了一个目标,就是能不能在不增加服务器的同时应对大促增长的流量。”在尚鑫眼里,这是技术人员追求自我超越和成就感的方式。
具体的做法是进行精细化的管理。例如,过去在系统中可能存在大量缓存数据占用资源,数据库性能也相对老旧从而影响体验。在虚拟机和容器的调度算法上,也存在一定的提升空间。“相应地,我们会进行数据缓存优化、数据库性能优化,并调优容器的调度算法,令底层基础设施能够在资源不变的情况下更高效地运转。”
据了解,今年京东技术团队在618期间的主要任务是以监控为主,同时应对紧急的突发事件,libido独占欲响应临时需求。在平时,技术团队也需要同步进行系统调优、常规需求实现、落地产品方案等,“现在我们相当于将集中备战的大量工作放在了日常,因此在真正‘考试’的时候才能够获得较为轻松的状态。”尚鑫称。
技术大中台“扬威”
技术运营精细化的背后,是京东技术大中台的搭建。事实上,当过往积累的技术能力得以组件化、模块化后,技术团队便不再需要一次次响应重复需求,进而能够抽身专注于“技术积木”的调优。
这是技术大中台建立的价值点之一,除此之外它还有更多价值。“通过技术中台的构建,我们能够实现快速响应和快速支撑,进行灵活的扩展和配置,”尚鑫表示,“在将技术能力进行通用化和组件化的过程中,过往的技术经验变为系统性的配件,必要时可以组合搭配,完成相应的需求。”
事实上,京东对技术的执着已久。在2017年年初的京东集团内部年会中,刘强东提出,“未来12年京东只有三样东西:技术!技术!技术!”向技术狂奔的思路不言自明。同年8月,彼时的京东商城开始打造技术中台,着眼于搭建全域零售交易中台,实现多场景零售业态的赋能。一年之后,2018年12月,京东搭建数据中台,对公司内部数据体系进行重新梳理,建立以数据驱动业务增长的新引擎。
“过去大家的概念中更多是前台、后台,如今的中台其实是桥接前台业务端需求与后台基础设施之间的角色,带有一定的业务属性,”黎科峰解释道,“中台与传统的后台相比更贴近业务,更多是把业务的公共能力、数据、逻辑给沉淀下来。”
据介绍,京东零售技术中台来源于京东B2C自营场景多年来的沉淀,历经每年618、双11的磨练,具备了支持上万种营销手段的复杂营销交易能力,已经成为业内领先的支撑高并发、大流量、稳定可靠的电商交易技术平台。
面向线上线下、实物虚拟、2B2C2M等各种形态的无界零售场景,京东打造了一套全域交易中台,实现了多场景多平台的“九通”,即商品通、订单通、库存通、数据通、会员通、营销通、支付通、储值资产通和服务通。
数据中台的建立,则通过统一底层大数据的采存算平台,合并了几十个数据集市,实现了统一的数据集市建设,以一套数据服务全公司。通过数据分级处理、数据清理等大数据治理手段,大数据平台的存储和计算效率提高20%以上。
此外,通过统一数据口径、用户标签画像,数据中台沉淀出一套共享数据服务,为搜索推荐、广告、智慧营销等提供高效的基础数据和模型标签支撑。数据应用赋能层的建设,使数据平台可以驱动多场景业务增长。
发力“加分项”
“如果说在2012年,大促期间系统不挂就是我们的满分,那么现在,这可能就只是60分,”尚鑫坦言道,“它已经成为了一个基础项,而非加分项。”
如今的加分项,已经演变为组件化、积木化、敏捷开发,它们也随之成为京东技术大中台的关键词。
事实上,之所以从2017年就开始进行技术大中台的改造,究其原因是为了解决传统技术开发面临的“烟囱式”架构,进而实现加分项。“技术与数据中台的打造其实是一个水到渠成的过程,”尚鑫解释道,“类似于过去的拍拍二手、拍卖等垂直业务,都是他们自己重新做业务逻辑、交易流程,浪费了许多研发资源。在这个过程中,垂直业务团队也非常痛苦,需要投入极多的研发资源。相应地,我们技术团队做了十几年的交易系统,拥有许多经验,但过去也没有很好的途径去帮助他们。”
正是看到了“烟囱式”架构的弊端,京东才开始决心改革,主动将技术和数据能力抽离出来,变为积木和组件来进行推广。这样的影响是,垂直业务的“烟囱”打掉后,使用通用的平台去支撑业务,一方面既有业务系统实现了更快的迭代,另一方面新的业务场景能够轻松复用现有组件平台能力,节约开发成本,大幅缩短开发周期,实现快速的业务扩展。
当然,组件化的过程并非一蹴而就。“组件化就像搭积木。我们把整个中台的各种能力抽象成很多组件,比如商品组件、库存组件、交易组件、订单组件等等。目前这样的组件有几百个。我们是从过去耦合在一起的大系统,解耦成一个个功能组件,就像拆解乐高积木一样。说起来容易,拆解的过程还是非常难的。”黎科峰说。
不过目前,京东技术中台的所有技术开发均已采用组件化的开发方式,以可解耦最小独立单元实现敏捷开发,实现一套代码支持多端多场景。黎科峰举例称,在支持印尼、泰国等国际业务的过程中,京东技术体系改变了原来“一国一系统”的开发方式,采用与国内主站一致的组件系统平台,轻松实现各国线上、线下零售交易平台能力。
从效果上来看是惊人的。得益于组件化的开发体系,京东技术体系支撑国际站业务的研发人力实现了约50%的节省。同时由于国际业务本质上使用的是与国内主站相同的系统,其系统承压性和容错能力远远超出国际业务的需求。
黎科峰表示,京东集团在零售、金融、物流、保险、健康、云计算等多领域的深度布局,这种业务纵深给技术团队提供了广阔的技术创新空间。在支撑业务需求的过程中,越来越多的技术创新点正在被发掘出来。“从长远来看,京东的技术与业务已形成一种相互促进、螺旋上升的机制,技术驱动业务发展,业务发展引发技术创新,技术创新再进一步引领业务创新,形成正向循环。”
随着无界零售的演进,线上线下融合成为一个重要方向,京东数据与技术中台除了打造一套支持线上线下多场景的全域交易中台,还推出了许多门店黑科技,帮助解决线下零售商家的诸多痛点,实现线上线下联动。从一体化走向一体化开放,京东技术部门正在将过去多年来积累的技术能力向外部开放,帮助更多合作伙伴实现业务提升,这或许也是“中台”的应有之意。