はじめに

定期実行のヘルスチェックに「1 回あたり 480 秒まで」というタイムアウトを付けていたのに、高負荷の時間帯には実測で 557 秒かかる周期が出ました。
タイムアウトは確かに発動していました。
それなのに全体が上限を超えた原因は、打ち切る処理そのものに上限がなかったことです。

この記事では、Bash でタイムアウトの「後始末」を有限時間に収める設計と、その途中で踏んだ落とし穴を整理します。
コピペして使える形のコードを中心に紹介します。

こんな人におすすめ

  • cron や launchd で定期実行するシェルスクリプトを運用している方
  • timeout や自作のタイムアウト処理を入れたのに、たまに上限を超えて困っている方
  • 高負荷時に ps や docker コマンドが詰まる経験がある方
  • Bash のサブシェルと変数の関係でハマった経験がある方

タイムアウトの「後始末」にも上限が要る

打ち切りが発動する時刻は secs で決まります。
しかし、打ち切りの途中で次のような処理が走ると、全体は secs + α に伸びます。

  • プロセス表(ps)の取得を無制限に待つ
  • 子孫プロセスを 1 つずつ fork して列挙する
  • KILL が効かない子を wait し続ける

今回は、後始末の各段階に上限を付けて、全体が secs + 約 18 秒 に収まるようにしました。
内訳は、プロセス表取得 10 秒、TERM の猶予 3 秒、回収待ち 5 秒です。

子孫の列挙は fork を減らして 1 回で済ませる

高負荷下では、fork 1 回が秒単位になることがあります。
ノードごとに printf | awk | tr を fork して子孫をたどる実装は、プロセス木が大きいほど遅くなります。

そこで ps を 1 回、awk を 1 回だけ呼び、固定点に達するまでループして全子孫の pid を求める形に直しました。

_bounded_tree_pids() {
  awk -v root="$1" '
    { par[$1] = $2; ids[n++] = $1 }
    END {
      set[root] = 1; out = root
      do {
        ch = 0
        for (i = 0; i < n; i++) {
          id = ids[i]
          if (!(id in set) && (par[id] in set)) { set[id] = 1; out = out " " id; ch = 1 }
        }
      } while (ch)
      print out
    }' "$2" 2>/dev/null
}

入力は pid ppid ... 形式のスナップショットファイルです。
親が集合に入っている pid を集合に足す処理を、増えなくなるまで繰り返します。
外部コマンドの fork が 1 回で済むので、負荷が高くても所要時間が読みやすくなります。

ps 自体も詰まる前提で、時間制限つきで待つ

プロセス表を取る ps も、高負荷下では詰まることがあります。
そこで ps を背景で走らせ、期限つきで待ちます。
間に合わなければ諦めて、root だけを KILL します。

ps -Ao pid=,ppid=,etime=,command= >"$snap" 2>/dev/null &
sp=$!
if _bounded_wait_gone "$sp" "${BOUNDED_RUN_SNAPSHOT_S:-10}"; then
  pids="$(_bounded_tree_pids "$root" "$snap")"
else
  kill -KILL "$sp" 2>/dev/null || true   # 諦めて root だけ打ち切る
fi

諦めた事実は診断ログに残しておくと、後から原因を追えます。

コマンド本体を subshell 越しに走らせる

D 状態(割り込み不能な待ち)の子プロセスなど、KILL が効かない相手がいると、呼び出し元の wait が戻りません。
コマンド本体を subshell 越しに走らせると、subshell を KILL すれば wait は戻ります。

( "$@" ) &   # subshell を KILL すれば下の wait が戻る
pid=$!

1 行の変更ですが、意図は大きいです。
残った pid は診断ファイルに記録して、先へ進みます。

「1 回あたりの上限」に加えて「時間予算」を持つ

遅いけれど応答する daemon に対しては、1 回あたりの上限だけでは足りません。
呼び出し回数 × 45 秒が積み上がるためです。

サイクル全体の時間予算を別に持ち、尽きたら新しい呼び出しを始めないようにしました。
次は外部コマンド(docker)をラップする例です。

docker() {
  docker_gave_up && return 124
  local _t="$CMD_TIMEOUT_S" _left _cut=0 _rc
  if [ "$DOCKER_BUDGET_S" -gt 0 ]; then
    _left=$(( DOCKER_BUDGET_S - (SECONDS - HH_START_SEC) ))
    if [ "$_left" -le 0 ]; then docker_mark_giveup budget; return 124; fi
    if [ "$_left" -lt "$_t" ]; then _t="$_left"; _cut=1; fi  # 予算の残りより長くは待たない
  fi
  bounded_run "$_t" command docker "$@"
  # 以降は終了コードの扱いなど
}

予算の残りが 1 回の上限より短ければ、残りに合わせて待ち時間を縮めます。
予算が尽きたら 124(timeout コマンドと同じ終了コード)を返して、以降の呼び出しをすべて省きます。

テストでは遅いコマンドを再現する

高負荷の再現には、遅い ps や遅い awk を PATH の先頭に置く shim(偽物のコマンド)を使いました。
本物のコマンドを遅くするのではなく、差し替えることで再現性のあるテストにできます。

# テスト用 shim の例(PATH 先頭に置く ps)
cat > "$SHIM_DIR/ps" <<'EOF'
#!/bin/bash
sleep "${SLOW_PS_S:-30}"
exec /bin/ps "$@"
EOF
chmod +x "$SHIM_DIR/ps"
PATH="$SHIM_DIR:$PATH" ./run-health-check.sh

つまづきやすいポイント

  • $(...) の subshell で立てたフラグは親に戻りません。 「打ち切られた」という状態は一時ディレクトリのファイル経由で共有しました。以前は subshell で打ち切られても親が気づかず、次の呼び出しがまた最大 45 秒待っていました
  • 不完全な検査を「問題なし」と報告しないでください。 途中で打ち切った検査は「なし」とみなさず、次の周期で再試行します。スロットル用のタイマーも進めないのがポイントです
  • KILL が効かない子は残る前提で設計します。 回収できなかった pid は記録に残し、後から検知できるようにしておく必要があります
  • 超過の原因が想定どおりかは、反映後に確かめます。 ステップ別の所要秒を記録し、打ち切りの発生件数と合わせて観察するのがおすすめです

まとめ

タイムアウトを付けただけでは、全体の上限は保証されません。
打ち切りの後始末(プロセス表の取得、子孫の列挙、回収待ち)にも、それぞれ上限が必要です。
fork を減らす、subshell 越しに走らせる、サイクル全体の時間予算を持つ、という 3 つを組み合わせると、高負荷でも所要時間を読みやすくできます。
ご自身の定期実行スクリプトでも、「打ち切りの途中で無制限に待つ箇所がないか」を一度見直してみてください。