被上游搞掛后,我要全面排查這個(gè)配置!對賬服務(wù)設(shè)計(jì)要點(diǎn)

事故情況:
由于redis內(nèi)存報(bào)警,導(dǎo)致接口失敗率上升(沒有配置redis拒絕策略,接口阻塞)。詢問發(fā)現(xiàn)是上游同事進(jìn)行了發(fā)布,于是迅速回滾,同時(shí)增大redis內(nèi)存。
事故原因:
上游服務(wù)的對賬系統(tǒng)調(diào)用自己的接口
1. 沒有考慮到對賬數(shù)據(jù)范圍(進(jìn)行了全量對賬,存在冷數(shù)據(jù))
2. 在業(yè)務(wù)高峰時(shí)期對賬
3. 自己redis沒有設(shè)置合理的淘汰策略
(第一次記筆記,不足之處請指出)
標(biāo)簽: