大数据架构师必懂的5大实时计算技术要点

　　告警响的那一刻，我正把泡面叉子插进酱包里，没撕开——手抖得悬在半空。三台机器的Flink任务全红了，YARN队列堵成便秘状态，Kafka lag跳着八百多万。我原以为是消费组挂了，顺手kill -9了两个TaskManager，结果集群自己把JobManager也顺手干掉了。不是bug，是它真认得清谁先动的手。

　　开发老张电话打进来时我在机房门口搓手，空调冷得像冰柜里塞了台服务器。他说“你们资源配得不对”，我说“你那个窗口聚合函数没设watermark，上游水位一漂，下游就等着吃空指针”。他回我一句“我本地跑得好好的”，然后挂了。我盯着屏幕右下角还开着的三个tab：一个是Prometheus查latency的图，一个是昨天删掉又手抖恢复的备份脚本草稿，第三个是钉钉群——里面有人刚发了个表情包：一只猫在推倒多米诺骨牌。

　　去年四月，我们拿Flink替掉Storm那会儿，连window触发逻辑都没对齐，直接上线。三天后数据双写漏了一半，没人敢动checkpoint间隔，怕压垮HDFS。最后是运维小王蹲在监控屏前，手动调了三小时parallelism才把背压降下来。他后来跟我说：“其实我那天没备份state backend，但我想着反正有RocksDB本地盘缓存——结果盘热了，缓存全丢了。”我没骂他。我连自己的备份策略都拖了三个月没补完。

　　实时计算不是比谁跑得快，是比谁摔得慢。Kafka吞吐上不去？调batch.size和linger.ms能续命一周；Flink反压爆了？先关掉side output，再看metrics里哪个subtask在当猪队友；Spark Streaming卡住？别碰spark.streaming.receiver.maxRate，先去yarn logs里翻第17行那个NoClassDefFoundError——八成是同事昨天升级了hadoop-client版本但没同步到executor节点。这些不是技术要点，是血槽见底前的止血钳。

　　可有些东西你躲不过。比如状态一致性。Flink的exactly-once不是靠文档写的“两阶段提交”四个字撑起来的——是你得亲手改SourceFunction，让offset commit和state checkpoint真锁在同一个transaction里；是你得逼着开发把MySQL binlog里的delete事件转成null + key + timestamp，不然changelog stream里缺一行，下游count就永远多一；是你得亲眼看着RocksDB本地目录里那堆sst文件，在重启时一个没少地被restore上来……否则你就不是在做实时计算，是在做概率性猜数。

　　窗外天快亮了，灰蓝的光从机房门缝挤进来，照在键盘上那层薄灰上。我切到另一个终端，ls -lh /data/flink/checkpoints —— 三个目录，大小差得离谱。最小那个只有200MB，另外俩接近3G。我其实知道为什么：中间那个job用的是filesystem state backend，路径写错成了相对路径，重启就找不到；最大那个用rocksdb，但enable incremental checkpoint开了，却没关state TTL，导致history里攒了两个月的历史key。这事我没跟任何人提过。反正现在还没炸。

　　还有人觉得Pulsar能天然解决消息重复？呵。上周五，他们把producer配置里messageRoutingMode改成SinglePartition，又没配KeyGenerator，结果所有订单流全打到一个partition里，而consumer group又用了Shared模式——三台机器轮着消费，顺序崩得连timestamp都开始倒退。我扒日志时发现有个commitOffset的调用，在重试逻辑里被包了三层try-catch，最后catch块里只打了一行info：“offset update skipped.” 跳过了。连warn都不是。

文章配图，仅供参考

　　我原以为实时架构师只要懂怎么选技术栈，结果干了半年才发现，最耗心神的是教会别人“什么是不可靠的”。教不了。老陈说“反正离线跑一遍兜底就行”，老李说“用户不care秒级延迟，能看见就行”，新人连背压和GC的区别都说不清。我们这群人守着三台裸金属，装着十多个实时管道，每条管子上贴着胶布写着“临时方案-勿删”。其实哪有什么临时——去年四月定的Watermark生成策略，到现在还在跑。

　　这五点不是什么高深学问。就是Kafka的partition分配得盯住rebalance日志；Flink的checkpoint超时不能只调大，得先确认RocksDB flush是否真完成；State TTL别乱开，尤其遇到ListState里嵌套MapState的，TTL一设，清理的不是value是整个key的引用链；Side input不能信remote lookup，本地缓存必须带失效时间戳，且要跟主流event time对齐；最后一点最简单——永远别信“它本来就应该这样工作”。它从来就不该这样工作。所有稳定都是修出来的。

　　我妈昨天问我要不要回老家教书。我回她说，我现在教的也是“人”，只是上课工具换成curl -X POST，作业是看metric抖动波形图。她听完没说话。我其实也没真想走。只是昨天下班前，我把backup-flink-conf.sh脚本扔进了git，commit message写了“防手抖v1.1”，后面跟了个笑脸。其实里面还少两行：一行是清理临时目录，另一行是校验checksum。今天补。或者，明天。反正还没炸。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!