卍 花径不曾缘客扫, 蓬门今始为君开. 古佛拈花方一笑, 痴人说梦已三生!

鏖战双十一,电商技术力量揭秘

Nginx 拈花古佛 7937℃ 0评论 繁體

鏖战双十一,电商技术力量揭秘

今年的“双十一”全民网购狂欢节已经落下帷幕,从各电商企业发布出来的数据来看,今年的热烈程度再次毫无悬念狂刷以往的记录。而在这一切的背后,是一场“真枪实弹”的技术硬仗,更是一场能令技术人“热血沸腾”的技术狂欢。本文中,牛小七将总结国内各大知名电商的技术架构实践,带大家一睹它们如何鏖战“双十一”?

当当:促销系统和交易系统双系统重构

重构促销系统:当当原促销系统模型较陈旧、扩展性差、不成熟并且与其它系统耦合严重,因此,此次的核心改进点在于促销系统的扩展性、灵活性,系统解耦和更强大的数据处理能力。在确定基本促销模型并抽象后,重点在于实施解耦,当当将直读DB和存储冗余促销数据的系统修改为调用服务及监听MQ;在逻辑回收方面,将促销校验与促销计算提取为交易服务,回收原先由购物车、交易系统自行处理的促销逻辑。此外,还做了提取促销工具属性及完善促销系统查询服务的工作。在应用架构实现上,从前端页面到后端逻辑,尽量避免有逻辑与促销类型直接绑定,全部以插件化方式与促销模型对接,完全根据促销类型的配置进行组装。鉴于促销的时效性和实时性要求,当当在数据库前加Redis缓存,以提高响应速度,同时监听MQ,根据事件清理相应的缓存数据。

重构交易系统:当当交易系统的重构使用了业界较成熟的系统方案,重构过程主经包括易于管理的集中化配置、将大流程计算结果进行缓存提高页面刷新速度、小版本结算与统一结算合并、巧借Nginx的reload配置进行灰度发布等。由于交易系统的计算都和金钱有关,当当还提出线上并行比对方案,根据老交易系统比对新交易,保证其逻辑正确。此外,还开发了分流功能,按照用户id分流前,先使用测试白名单中的用户进行预验证,预验证通过后,再按比例由低至高逐步切换。值得一提的是,基于灰度发布技术,新交易系统的Web服务器很容易做到按需伸缩。

苏宁:主抓四大方向

系统拆分:技术上分析主流程、分离主干系统和枝叶系统、根据业务内聚性独立出主干系统,做到分别部署。并根据业务功能拆分出会员、商品、库存、价格、购物车、交易、订单和内容管理几大系统,组建对应的研发中心来维护;根据交易环节的系统压力,独立出抢购和秒杀系统,拆分出购物券、云钻等营销类的系统,并组建营销中心。

基础平台:基础平台主要抓基础架构、通用系统、中间件及包括运维监控、持续集成、大数据分析、风控系统在内的平台。主要工作包括系统之间的通讯、统一验证和内部管理系统的统一权限、Session共享、分布式调用链、Redis分片存储、数据库的分库分表中间件、统一配置管理和流控等。

研发流程:除通过代码走查、sonar平台、各种测试等手段,中心也采用代码飞检来确保代码质量。代码飞检即定期快速评审系统核心代码,主要由各个系统负责人、架构师以及总监负责。流程发布检查单为系统的最后一关,需经过产品负责人、开发负责人、QA、测试负责人、DBA、运维人员、以及线上验证人员对各个环节进行确认,确保系统上线过程少出问题或出问题能及时下架。

系统保障:主要重视提高系统负载能力和应急预案两方面。在提高系统负载能力方面,根据历史数据对双11流量进行预估,细化到每个系统的PV、UV、峰值TPS,并对目前系统压力、容量和相关指标进行统计。此外,对系统进行了自上而下的体检,针对发现问题制定相关方案。具体体现在对系统架构梳理、关键代码优化以及中间件调优。在应急预案方面,主要涉及拒绝黑名单、限流及降级策略。限流通过防火墙流控、中间件流控功能和组件实现。

蘑菇街:五个关注焦点

稳定性:对已遇到过的问题,及时采用各种方式解决或规避。

多维度的阈值监控:实时pid数量监控、调整容器内存计算算法更精确监控内存、修改container里的rsyslog配置,只让宿主机去读kernel以解决日志乱序。在压力大的情况下,为个别容器进行动态的CPU、内存等扩容或缩容,调整甚至放开磁盘iops限速和网络的TC限速。此外,定期扫描线上潜在风险。

灾备和紧急故障处理:如在不启动DockerDaemon情况下,离线恢复Docker中数据的方法。方法是:用dmsetup create命令创建一个临时的dm设备,映射到Docker实例所用的dm设备号,通过mount临时设备,恢复原有数据。支持Docker容器冷迁移。通过管理平台界面一键实现跨物理机迁移。

与已有运维系统的对接:Docker集群须能与现有运维系统无缝对接,才能快速响应,做到秒级的弹性扩容/缩容。因而以统一的容器管理平台,实现对多个Docker集群的管理,从下发指令到完成容器的创建可以在7秒内完成。

性能优化:针对磁盘IO的性能瓶颈,调优部分内核参数。引入Facebook的开源软件flashcache,将SSD作为cache,提高docker容器的IO性能。通过合并镜像层次优化docker pull镜像的时间。在docker pull时,每一层校验的耗时很长,通过减小层数,不仅大小变小,docker pull时间也大幅缩短。

唯品会:六个设计要点

系统模块有效切分:原业务系统在实际运作中业务耦合严重、模块划分不合理,导致模块之间边界不清楚。唯品会从整个系统角度出发,梳理整个流程,重新做系统定位,将不同业务子系统做物理分离,减少彼此依赖,使各个子系统独立部署,出现问题后能快速采取措施,隔离出问题模块,将故障影响降到最低。

服务化解耦,集中服务治理:基于Spring的Java开发框架独立自主开发Venus系统,涵盖数据库访问层封装、缓存接口封装、CRUD服务代码自动生成、OSP/REST服务调用接口封装及异步支持等方面,降低开发复杂度,、提高开发效率、提升代码质量,、规范开发流程。

增加异步访问:对于系统间实时性要求不高、执行耗时的操作,可通过异步处理提高调用者性能、响应能力。通过异步调用通知非主要流程,加快系统主要业务流程的反应速度和性能,异步处理机制可起到缓冲的作用,被通知的下游系统可依据自身能力控制处理数据量,避免遭受超负荷的冲击,保证系统稳定运行,增加系统可用性。分布式异步消息队列服务器可在宕机后确保消息不丢失,异步系统有重试机制,从而提高系统可用性、健壮性和扩展性。

多阶段缓存,降低后端压力:做动静分离降低后端压力。引入分布式缓存,对缓存数据服务节点做统一集中管理,支持缓存集群弹性扩展,通过动态增加或减少节点应对变化数据访问负载;冗余机制实现高可用性,无单点失效,不会因服务器故障而导致缓存服务中断或数据丢失。应用端使用统一的API接口访问缓存服务器。此外,唯品会还巧用应用服务器本地缓存,将基本不修改的配置数据、全局数据缓存在应用服务器本地,减少对后端缓存服务器实例的峰值冲击。

优化数据库访问:优化复杂查询和关键模块的数据库慢查询。保证在实现功能的基础上,减少对数据库的访问次数;通过查询参数,减少对表的访问行数,最小化结果集,减轻网络负担。采用读写分离技术,通过一主多从,写操作只发生在主表,多操作发生在从表上以缓解对主数据库的访问压力。并借助于分布式缓存,提供远大于数据库访问的性能。在设计时,需要防止缓存失效带来的缓存穿透压力,容许一定程度的数据冗余。对于关键模块,为防止因依赖而影响当前模块的性能和可靠性,可适度保存其它模块的关键数据,减少由于访问其它模块服务带来的系统损耗和可靠性压力。使用NoSQL数据库对海量大数据进行存储和处理。

加强系统监控:在系统和网络层面的监控,主要监控服务器指标(如CPU、内存、磁盘、流量、TCP连接数等)和数据库指标(如QPS、主从复制延时、进程、慢查询等)。业务层面监控主要通过在指定页面做埋点,和从业务系统的数据库两种方法,将需要监控的数据抽取出分析处理,存入自己维护的数据库中,然后通过浏览器页面、展示监控数据,页面同时提供各种时间维度上的筛选、汇总。此外,独立研发应用性能监控平台Mercury,通过在应用程序中植入探针逻辑实现对应用代码、关系数据库、缓存系统的实时监控。Mercury通过收集日志、上报日志的方式即时获取相关性能指标并进行智能分析,及时发现分布式应用系统的性能问题以及异常和错误,为系统解决性能和程序问题提供方便可靠的依据。

巧用云服务,挖金“双十一”

对于电商平台来讲,如果Web服务、业务数据库及静态资源部署在同一台服务器上,会相互影响执行效率;此外,还会有单点故障的问题,面对以上问题,最直接的方案则是做动静分离。而电商平台多重图片应用,需要消耗大量的带宽资源,同时图片的存储和处理会产生大量的成本。因此,使用第三方的存储服务将使得电商企业可以从容应对业务增长,特别是在“双十一”这种关键的场景下更显得尤为重要。在电商的业务场景中,七牛的技术方案将主要帮助他们解决如下难题。

KODO对象存储:电商平台有着诸如图片及部分社区电商平台的视频存储的需求。静态资源从业务服务器上剥离出来存储在七牛,加载时性能会提高。对于此,七牛把存储系统(甚至是主机系统和未来大的计算系统)进行孵化和提取出来,存储系统的扩容可达100PB级。

融合CDN加速:在类似“双十一”这样的大促活动中,宝贝刷不出来会严重影响电商平台用户的体验,而将电商平台的宝贝图片通过CDN缓存到靠近用户的节点,能提高CDN效率。同时,由于七牛云服务的弹性扩容,也避免了电商因大促自建存储而耗费各种资源等情况,让电商平台能自如应对突发业务的流量。此外,七牛特有的融合CDN加速平台,是引入主流CDN厂商优质节点与七牛自有高质量节点相结合而形成的,全面覆盖各运营商,真正做到了无盲区,特别关注小运营商区域,确保各区域的网购用户都能享受到最优的服务体验。七牛融合CDN加速成功实现了节点级互备,确保服务高可用高性能及持续可用。

DORA数据处理:电商平台上图片的各种转码需求非常大。由于移动设备种类繁多、屏幕分辨率不一致,就需要非常多的规格。如果图片一有改动,就需要让后台运维遍历所有图片重新转化。这样不仅加大了运维人员的工作量,还需要大量的存储空间。七牛图片实时转码功能,可帮助电商用户实时扩展新的图片规格,并且将转码生成的新规格图片放在七牛提供的缓存层供App调用,不用占用存储空间。这种服务器端只需存储一份原图,其他规格实时生成且不占用存储空间的机制,自然能帮助其节省大量的存储成本,同时用户体验也能得到很好的提升。此外,存储于七牛的所有JPEG格式的图片均可实时转码成WebP格式,还可进一步提升用户访问图片的流畅度,同时帮用户节省流量。

目前,七牛已为包括有赞、帮5买、有货(YOHO)、美柚、穿衣助手、明星衣橱、蘑菇街、1626奥特莱斯等在内的电商客户提供安全存储、双向加速及图片处理服务。

鏖战双十一,电商技术力量揭秘

声明:本文部分内容根据微信公众账号InfoQ的《盘点电商大战背后的技术力量支撑》一文整理而成。

转自公主号: Python开发者  鏖战双十一,电商技术力量揭秘

转载请注明:拈花古佛 » 鏖战双十一,电商技术力量揭秘

喜欢 (0)or分享 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址