はじめに
定期実行のヘルスチェックに「1 回あたり 480 秒まで」というタイムアウトを付けていたのに、高負荷の時間帯には実測で 557 秒かかる周期が出ました。
タイムアウトは確かに発動していました。
それなのに全体が上限を超えた原因は、打ち切る処理そのものに上限がなかったことです。
この記事では、Bash でタイムアウトの「後始末」を有限時間に収める設計と、その途中で踏んだ落とし穴を整理します。
コピペして使える形のコードを中心に紹介します。
こんな人におすすめ
- cron や launchd で定期実行するシェルスクリプトを運用している方
timeoutや自作のタイムアウト処理を入れたのに、たまに上限を超えて困っている方- 高負荷時に
psやdockerコマンドが詰まる経験がある方 - Bash のサブシェルと変数の関係でハマった経験がある方
タイムアウトの「後始末」にも上限が要る
打ち切りが発動する時刻は secs で決まります。
しかし、打ち切りの途中で次のような処理が走ると、全体は secs + α に伸びます。
- プロセス表(
ps)の取得を無制限に待つ - 子孫プロセスを 1 つずつ fork して列挙する
- KILL が効かない子を
waitし続ける
今回は、後始末の各段階に上限を付けて、全体が secs + 約 18 秒 に収まるようにしました。
内訳は、プロセス表取得 10 秒、TERM の猶予 3 秒、回収待ち 5 秒です。
子孫の列挙は fork を減らして 1 回で済ませる
高負荷下では、fork 1 回が秒単位になることがあります。
ノードごとに printf | awk | tr を fork して子孫をたどる実装は、プロセス木が大きいほど遅くなります。
そこで ps を 1 回、awk を 1 回だけ呼び、固定点に達するまでループして全子孫の pid を求める形に直しました。
_bounded_tree_pids() {
awk -v root="$1" '
{ par[$1] = $2; ids[n++] = $1 }
END {
set[root] = 1; out = root
do {
ch = 0
for (i = 0; i < n; i++) {
id = ids[i]
if (!(id in set) && (par[id] in set)) { set[id] = 1; out = out " " id; ch = 1 }
}
} while (ch)
print out
}' "$2" 2>/dev/null
}
入力は pid ppid ... 形式のスナップショットファイルです。
親が集合に入っている pid を集合に足す処理を、増えなくなるまで繰り返します。
外部コマンドの fork が 1 回で済むので、負荷が高くても所要時間が読みやすくなります。
ps 自体も詰まる前提で、時間制限つきで待つ
プロセス表を取る ps も、高負荷下では詰まることがあります。
そこで ps を背景で走らせ、期限つきで待ちます。
間に合わなければ諦めて、root だけを KILL します。
ps -Ao pid=,ppid=,etime=,command= >"$snap" 2>/dev/null &
sp=$!
if _bounded_wait_gone "$sp" "${BOUNDED_RUN_SNAPSHOT_S:-10}"; then
pids="$(_bounded_tree_pids "$root" "$snap")"
else
kill -KILL "$sp" 2>/dev/null || true # 諦めて root だけ打ち切る
fi
諦めた事実は診断ログに残しておくと、後から原因を追えます。
コマンド本体を subshell 越しに走らせる
D 状態(割り込み不能な待ち)の子プロセスなど、KILL が効かない相手がいると、呼び出し元の wait が戻りません。
コマンド本体を subshell 越しに走らせると、subshell を KILL すれば wait は戻ります。
( "$@" ) & # subshell を KILL すれば下の wait が戻る
pid=$!
1 行の変更ですが、意図は大きいです。
残った pid は診断ファイルに記録して、先へ進みます。
「1 回あたりの上限」に加えて「時間予算」を持つ
遅いけれど応答する daemon に対しては、1 回あたりの上限だけでは足りません。
呼び出し回数 × 45 秒が積み上がるためです。
サイクル全体の時間予算を別に持ち、尽きたら新しい呼び出しを始めないようにしました。
次は外部コマンド(docker)をラップする例です。
docker() {
docker_gave_up && return 124
local _t="$CMD_TIMEOUT_S" _left _cut=0 _rc
if [ "$DOCKER_BUDGET_S" -gt 0 ]; then
_left=$(( DOCKER_BUDGET_S - (SECONDS - HH_START_SEC) ))
if [ "$_left" -le 0 ]; then docker_mark_giveup budget; return 124; fi
if [ "$_left" -lt "$_t" ]; then _t="$_left"; _cut=1; fi # 予算の残りより長くは待たない
fi
bounded_run "$_t" command docker "$@"
# 以降は終了コードの扱いなど
}
予算の残りが 1 回の上限より短ければ、残りに合わせて待ち時間を縮めます。
予算が尽きたら 124(timeout コマンドと同じ終了コード)を返して、以降の呼び出しをすべて省きます。
テストでは遅いコマンドを再現する
高負荷の再現には、遅い ps や遅い awk を PATH の先頭に置く shim(偽物のコマンド)を使いました。
本物のコマンドを遅くするのではなく、差し替えることで再現性のあるテストにできます。
# テスト用 shim の例(PATH 先頭に置く ps)
cat > "$SHIM_DIR/ps" <<'EOF'
#!/bin/bash
sleep "${SLOW_PS_S:-30}"
exec /bin/ps "$@"
EOF
chmod +x "$SHIM_DIR/ps"
PATH="$SHIM_DIR:$PATH" ./run-health-check.sh
つまづきやすいポイント
$(...)の subshell で立てたフラグは親に戻りません。 「打ち切られた」という状態は一時ディレクトリのファイル経由で共有しました。以前は subshell で打ち切られても親が気づかず、次の呼び出しがまた最大 45 秒待っていました- 不完全な検査を「問題なし」と報告しないでください。 途中で打ち切った検査は「なし」とみなさず、次の周期で再試行します。スロットル用のタイマーも進めないのがポイントです
- KILL が効かない子は残る前提で設計します。 回収できなかった pid は記録に残し、後から検知できるようにしておく必要があります
- 超過の原因が想定どおりかは、反映後に確かめます。 ステップ別の所要秒を記録し、打ち切りの発生件数と合わせて観察するのがおすすめです
まとめ
タイムアウトを付けただけでは、全体の上限は保証されません。
打ち切りの後始末(プロセス表の取得、子孫の列挙、回収待ち)にも、それぞれ上限が必要です。
fork を減らす、subshell 越しに走らせる、サイクル全体の時間予算を持つ、という 3 つを組み合わせると、高負荷でも所要時間を読みやすくできます。
ご自身の定期実行スクリプトでも、「打ち切りの途中で無制限に待つ箇所がないか」を一度見直してみてください。

