创业初期存储告急?5个扩容方案降本60%
|
去年秋天,拆到一半发现不对。 那台老ECS实例卡在扩容流程里,磁盘挂载完,df -h 一看还剩2%,lsof | grep deleted 翻三页没清掉——不是文件句柄没关,是根本没删。运维小张蹲在机柜前啃冷包子,手抖着往 /var/log/pgsql/ 下扔 rm -rf,我盯着他敲第三遍,没拦。他知道该删啥,我也知道删了也撑不过周四。果然,周五凌晨三点监控打爆,pg_wal 像吹气球一样胀开,把整个实例夯死在I/O队列上。 旁边有人抖腿,震得铁架上的六角扳手嗡嗡响。我伸手把扳手按住,金属凉得像刚从液氮罐里捞出来。手套上一块硬掉的胶,蹭在机箱侧板上,留了道灰白印子。手机在铁台上震了一下,是CTO发来截图:「老板说云盘涨价了,让省60%」。我回了个「嗯」,顺手把图转给了DBA老赵。老赵秒回:「你让他问问AWS EBS gp3 是不是也涨了?——问完再问我」。 我原以为是备份策略太密,半夜跑全量又不带清理。结果查完xlog日志才发现,真正吃空间的是那个「自动归档」开关——开着,但归档目标目录权限不对,pg_archiver 每次都失败,retry机制把它当普通写入塞进 pg_wal,连 retry_count 都没设上限。这毛病我只在别人那儿见过,在杭州某家做SaaS的初创团队,他们当时把 wal_level 调成 replica,就为省那1.2G内存;我们呢,调成了 logical,还配了逻辑复制槽……槽不消费,WAL就永生。这个我敢打包票。 中午盒饭里有块姜,浮在汤上,咬一口辣得眼眶发热。我嚼着姜,看老赵在群里贴配置片段,手指悬在键盘上三分钟没动。他以前在携程干存储底座,修过PG底层wal_sync_method 的调度缺陷,但那次是 kernel patch,这次是自己写了个 cron 每五分钟扫一次 pg_replication_slots 查活跃度,然后用 pg_terminate_backend 杀掉滞留槽——杀之前先 pg_stop_backup,免得 WAL 飙高。他干这活儿像拧螺丝:松两圈、垫半片铜箔、再紧半圈。我跟着照做,结果手一滑,kill 错了主库连接,业务停了87秒。那个下午我都没敢抬头看屏幕右下角的监控曲线,怕看见那根突兀的断崖。 车间那台风扇一直在响,2017年装的,扇叶裂了条缝,呼啦—呼啦—,像哮喘病人喘气。我摘了手套擦汗,胶块翘起来,露出底下一层灰指甲似的旧皮。这时候市场部王蕾冲进来,拎着个保温杯,水汽糊了她眼镜片,「张工!客户要导三个月订单,Excel格式!」她递来U盘的动作很急,拇指压着金属口边缘。我接过,插进测试机,导出SQL执行完,顺手 df -h —— /home 又掉了15%。不是导出,是导出后自动生成的「数据健康报告」PDF,用 wkhtmltopdf 跑的,缓存目录建在 /tmp,而 /tmp 挂的是内存tmpfs,满后自动 fallback 到 /,也就是根分区。这个我说不准,要看运气:有的系统会OOM killer杀进程,有的直接卡死mount table。我们这次卡死。 后来拉了个小会,四个人,围着一个24寸显示器。DBA老赵点着 pg_stat_progress_vacuum 说「vacuum 本来能清,但你们应用层没设 idle_in_transaction_session_timeout,连着事务不动,vacuum 就绕着走」;运维小张翻Git记录,指出来上周改过连接池最大值,从100加到300——因为测压时「并发上不去」;王蕾掏出客户邮件念「必须保留原始字段顺序」,我打断她:「那你下次导数,别用那个「一键导出报表」按钮,用 psql \\copy,别碰UI」。她愣住,手指还捏着保温杯盖,没拧紧,滴了两滴水在键盘F5键上。
文章配图,仅供参考 创业初期存储告急?5个扩容方案降本60%——这话站得住的地方,是优胜劣汰。真扛不住的早死了,剩下的要么把WAL路径硬软链到对象存储,要么砍掉所有「非实时报表」,改成T+1离线推;要么认怂上MinIO自建S3,把pg_dump + s3cmd 给cron包圆了。我们选了中间那个。不是最优,是刚好够用——就像修车,不是每个漏油都要换总成,先把副厂油封拍紧,凑合跑三个月,等第二轮融资到账再说。 现在监控里那个峰值毛刺没了,但昨天发现新问题:S3上传超时偶尔触发重试,导致同一批数据落了两份,下游ETL还在去重逻辑里打补丁。这个型号我只在别人那儿见过,文档里叫「at-least-once with dedup caveat」,我也没拆到底。修完我自己都没底,所以今天下午约了阿里云售后,不是问怎么配,是问他们线上遇到多少次同样场景。我要听真实踩坑数,不要PPT里的SLA承诺。 (编辑:应用网_常德站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |





浙公网安备 33038102330457号