背景

最近線上的一個工單分析服務(wù)一直不大穩(wěn)定，監(jiān)控平臺時不時發(fā)出數(shù)據(jù)庫操作超時的告警。

運維兄弟溝通后，發(fā)現(xiàn)在每天凌晨1點都會出現(xiàn)若干次的業(yè)務(wù)操作失敗，而數(shù)據(jù)庫監(jiān)控上并沒有發(fā)現(xiàn)明顯的異常。

在該分析服務(wù)的日志中發(fā)現(xiàn)了某個數(shù)據(jù)庫操作產(chǎn)生了 SocketTimeoutException。

開發(fā)同學(xué)一開始希望通過調(diào)整 MongoDB Java Driver 的超時參數(shù)來規(guī)避這個問題。
但經(jīng)過詳細分析之后，這樣是無法根治問題的，而且超時配置應(yīng)該如何調(diào)整也難以評估。

下面是關(guān)于對這個問題的分析、調(diào)優(yōu)的過程。

初步分析

從出錯的信息上看，是數(shù)據(jù)庫的操作響應(yīng)超時了，此時客戶端配置的 SocketReadTimeout 為 60s。
那么，是什么操作會導(dǎo)致數(shù)據(jù)庫 60s 還沒能返回呢？

業(yè)務(wù)操作

左邊的數(shù)據(jù)庫是一個工單數(shù)據(jù)表(t_work_order)，其中記錄了每張工單的信息，包括工單編號(oid)、最后修改時間(lastModifiedTime)

分析服務(wù)是Java實現(xiàn)的一個應(yīng)用程序，在每天凌晨1:00 會拉取出前一天修改的工單信息(要求按工單號排序)進行處理。

由于工單表非常大(千萬級)，所以在處理時會采用分頁的做法(每次取1000條)，使用按工單號翻頁的方式：

第一次拉取

db.t_work_order.find({
“lastModifiedTime”:{
$gt: new Date(“2019-04-09T09:44:57.106Z”),
$lt: new Date(“2019-04-09T10:44:57.106Z”)},
“oid”: {$exists: true}})
.sort({“oid”:1}).limit(1000)