大数据架构师避而不谈的3个云成本代码陷阱

　　去年十二月份那会儿，我原以为只是普通的资源告警，结果凌晨三点半被钉钉震醒，一看监控大屏——好家伙，三台大数据节点的ECS费用曲线跟坐火箭似的，直接飙到月预算的百分之八十。当时第一反应是“谁把测试环境的资源标签打错了”，结果爬进云控制台一查，发现是生产环境的Spark集群在疯狂扩缩容，每次扩容都多开两台c6.xlarge，缩容却只缩一半，剩下的就那么挂着计费。

　　我打电话给负责架构的小王，他迷迷糊糊接了，说“哦那个啊，是动态资源分配的代码，可能有点bug”。我让他把代码发过来，结果他甩给我一个三百行的Scala脚本，里面有个`maxResources`参数硬编码成了“200%”，而`minResources`写的是“50%”——这哪是动态分配，分明是“疯涨模式”啊！更绝的是，这脚本里还有个隐藏的`sleep 300`，每五分钟检查一次资源使用率，可检查逻辑是“如果当前CPU>80%就扩容”，但没写“如果CPU

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!