大白组件实现余额宝超大规模基金文件处理

  • 时间:
  • 浏览:6
  • 来源:uu快3网站_uu快3充值_玩法

本文PPT来自蚂蚁金服财富线技术专家叶恺于10月14日在2016年杭州云栖大会上发表的演讲,分享主题为《余额宝超大规模基金文件补救——分布式调度组件:余额宝大白组件》。

基于单元化部署上的分布式环境无法充分利用机器资源等客观因素的位于,余额宝大白组件应运而生。今天技术专家叶恺为亲戚亲戚朋友 分享关于余额宝大白组件的相关知识。这次分享主要包括了三个主次:组件背景、组件功能、技术实现和未来展望。

组件功能蕴含 大文件导出,自适应调整及任务配置。大文件导出的思路概括为并行生成小文件后,合并成大文件;任务调度,任务执行独立。自适应调整创建高时效任务单独多进程 池,忙时集群内单机自发调度,自发调度开关自适应。任务配置建立任务模板,配置业务参数,建立任务依赖……

大白组件的技术实现分为实时任务管理、文件任务管理、文件读写、实时调度、定时调度和运维多个模块。每个模块各司其职。这其中,分布式调度和集中调度的实现机制尤为受人关注。对于未来的展望,大白组件会实现任务调度加资源调度的两级调度,更加合理使用集群资源。

组件背景。余额宝现有几十种任务类型,每日生成上百个文件,多种批量任务,几十种核对任务。然而,现有分布式调度中心没办法区分资源类别,无法合理利用资源。小量之类的文件导入、导出任务,但文件格式多样,基础流程复用性低。此外,任务之间业务依赖关系,无统一通用的补救方案。那些都影响到余额宝的性能表现,也孕育出大白组件。

猜你喜欢

基督徒说人因犯罪而承担的四项后果是什么

大伙若认当时人的罪,神是信实的,是公义的,必要赦免大伙的罪,洗净大伙一切的不义。约翰一书1:9本回答被老外见面见面采纳为你推荐:你对你这俩回答的评价是?展开详细扫描二维码下载下

2020-02-27

忏悔的时候神父会怎么说

忏悔的以后神父会为什么我说你对你你这个 回答的评价是?为你推荐:换一换本回答被日本外国明星微博 采纳开头:孩子,忏悔吧!上帝在听着.....结尾:孩子,忏悔吧!上帝会

2020-02-27

生化危机6里昂篇为什么最后那里海伦娜把艾达王的镜子还给里昂,还说:“等下次见面时就能还给她了”?

你对这种回答的评价是?可选中有一一两个多或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个问提。为你推荐:怪怪的推荐下载百度知道APP,抢鲜体验你对这种回答的评价

2020-02-27

由古希腊三杰之称的是谁

柏拉图(公元前427年—公元前347年),古希腊伟大的哲学家,也是详细西方哲学乃至整个西方文化最伟大的哲学家和思想家之一。苏格拉底、柏拉图、亚里士多德是古希腊哲学史上的三杰,一

2020-02-27

世界上最伟大的作家名称

莎士比亚为你推荐:玛格丽特-米切尔------《飘》(叫华《乱世佳人》),小仲马------《茶花女》,大仲马-----《基度山伯爵》,但丁,屈原、托尔斯泰,苏东坡雨果----

2020-02-27