函数计算因为数据量过大超时的解决方案

  • 时间:
  • 浏览:4
  • 来源:uu快3网站_uu快3充值_玩法

阿里答复:完备的触发器厚度应该是要一同支持:size-based trigger、time-based trigger某种模式,但原来日志服务那么方式从流式数据订阅接口获取准确的日志条数,却说我size-based trigger目前提供不了。抱歉。

1. 将shard数目按照峰值情况报告进行预留

3. 日志服务写数据某种是非幂等行为,类事在函数重复执行原来写入数据超时重试时原来引起数据重复。这些 问题报告 报告 根本上难以处里,降低重复概率的一一2个可选方案是:在函数计算上面将本次已处里的数据saved_cursor记录到结构系统(类事表格存储),原来函数超时后再次执行,从表格存储获取上次处里进度,跳过已处里的帕累托图数据,从saved_cursor位置继续开使英语 处里。  

2. 将日志服务触发器的触发间隔设置为3秒,函数计算的超时间隔设置得高许多(比如2分钟)。我的考虑是:一般来说,函数偶尔超时,后续是可不都可不可以 慢慢赶上进度的(削峰填谷),亲戚亲戚大伙儿容忍偶尔的超时(计算+IO作业,延时不太可控)。但原来总爱超时,说明shard流量缺陷(分裂shard处里)原来是计算僵化 度高(在函数端增加并发)。

第一一2个问题报告 报告 :唯一能影响函数的输入数据量的设置可不都可不可以了函数的执行频率吗?我以后 准确的指定输入量吗?

现在的问题报告 报告 是FunctionComputeServer有总要time out失败,因此失败后数据任然是成功插入的。不过ETL认为任务失败,不断重试,最后因为插入多量重复的数据。 

建议处里方案:

第兩个问题报告 报告 :原来这是个webtrack logstore,每个时间点的logstore产生量是不稳定的。我如何评估产生的shard数目和大小?有那么哪几种地方可不都可不可以 查看?有那么哪几种方式可不都可不可以 提前测试函数计算的 performance原来可不都可不可以 帮助虽然大约的内存和超时设置?原来靠生产环境上面的情况报告来做决定,我可不都可不可以了等出了问题报告 报告 在尝试修改,那个原来原来太晚了。 

我现在做的事情是把一一2个webtrack 的logstore 通过函数计算导入到另外一一2个logstore。函数计算的功能是把IP解析成地理位置和把UserAgent String解析成设备信息。 

阿里答复: 一一2个shard支持5MB/s的数据写入,logstore的流量指标可不都可不可以 在这里看多:https://help.aliyun.com/document_detail/28971.html?spm=a2c4g.11174283.6.693.6IikRd。云监控中的指标应该可不都可不可以 通过sdk方式获取的,你可不都可不可以 基于这些 值提前做shard分裂来扩容。

现在有一一2个处里方案却说我我减少函数的输入数据,原来就可不都可不可以 处里超时,不过我有许多问题报告 报告 。 

猜你喜欢

2019阿里云双11拼团活动大促攻略

官方31150元金券:领取地址》》爆款服务器(活动地址)小编仔细梳理了下活动规则,给大家作为借鉴参考:核心亮点:云服务器组团拼购1折起,拼团瓜分百万现金面对只能 折扣力度,红

2020-01-22

原来的情人,3年前他提出分手的,有事还找我商量,交个男朋友也告诉我,他到底什么意思?

追答你对你是什么回答的评价是?不一般的境界,铁哥们对你还有感情的句子的句子,还留恋你你是男是女,我都没看出来再说那种藕断丝连的人,要么就破镜重圆,要么就没经常没法 藕断丝连,

2020-01-22

喜欢的女生在朋友圈发的,以前被一渣男深深伤害过,现在都不给任何男生机会了,难过,我该怎么评价才合适

 我来答展开全部你对你这人回答的评价是?展开全部使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。换一换展开全部直接表白,我会向你证明这句话是错的可选

2020-01-22

如何节制自己,让自己按时学习有什么APP可以推荐下吗?

网易云词典,有道公开课,还有很久 删掉手机里的各种娱乐性APP看你学哪几种,英语有流利阅读、互联网有三节课2019.03.100017:47回答2019.12.1116:28

2020-01-21

男友冷暴力5天,我以为他想分手,于是我也不理他,他居然又主动找我说话,说明什么

 我来答法学会用理解的,欣赏的眼光去看对方,而有无以自以为是的关心去管对方。恋爱的老婆的最大快乐假如有一天她所爱的老婆承认她是他的一每段。多用点头脑吧!什么的问题比较慢,怕你

2020-01-21