재부팅 뒤 colima가 안 떴다, 17일 묵은 pid 파일 때문에

맥미니의 colima는 이제 homebrew 서비스가 띄우지 않는다. 직접 만든 LaunchAgent가 작은 셸 스크립트를 부르고, 그 스크립트가 pid 파일을 정리한 다음 colima를 시작한다. 정리할 때 보는 것은 그 pid의 명령줄이 limactl인지다.

for f in "$LIMA_DIR"/*.pid; do
  [ -e "$f" ] || continue
  pid="$(tr -cd '0-9' < "$f")"
  cmd=""
  [ -n "$pid" ] && cmd="$(ps -p "$pid" -o command= 2>/dev/null || true)"
  case "$cmd" in
    *limactl*) log "keep $(basename "$f") (limactl alive)" ;;
    *) log "remove stale $(basename "$f")"; rm -f "$f"; stale=1 ;;
  esac
done

pid가 살아 있는지만 봐서는 부족했다. 2026년 11월 재부팅 때 그렇게 한 번 당했다.

재부팅하고 나니 컨테이너가 하나도 없었다

커뮤니티용 텔레그램 봇은 이 맥미니에서 colima로 띄운 Docker VM 위의 컨테이너로 돈다. 재부팅이 끝난 뒤 봇 컨테이너는 전부 내려가 있었다. colima는 homebrew가 설치한 launchd 서비스로 자동 시작하게 돼 있었는데, 시작하다가 이 메시지를 남기고 종료했다.

vz driver is running but host agent is not

그 뒤로는 다시 시도하지 않았다. VM이 없으니 그 위의 컨테이너도 뜰 수 없었다.

저녁에 맥미니를 재부팅한 직후 봇이 저절로 다시 뜨는지 확인하다가 알았다. 재부팅부터 시작 설정을 고친 커밋까지 한 시간쯤 걸렸다.

vz.pid의 번호는 살아 있었다

colima는 내부적으로 lima를 쓰고, lima는 VM 인스턴스 디렉터리(~/.colima/_lima/colima)에 pid 파일을 둔다. 이 디렉터리의 vz.pid가 17일 전에 기록된 pid를 그대로 들고 있었다. 왜 지워지지 않고 남았는지는 확인하지 못했다.

낡은 pid 파일이 있어도 그 번호의 프로세스가 없으면 죽었다고 판정할 수 있다. 그런데 재부팅하면 pid가 처음부터 다시 배정된다. 재부팅 뒤에 그 번호를 확인해 보니 colima와 아무 관계 없는 macOS 프로세스가 쓰고 있었다.

오류 메시지는 이 상태를 그대로 말하고 있다. vz.pid에 적힌 번호가 살아 있으니 VM 드라이버는 “실행 중”으로 보이는데 host agent(lima가 VM마다 호스트 쪽에 띄우는 관리 프로세스)는 없다. 실제로는 드라이버도 없었다. 번호만 살아 있었다.

한 번 실패하고 멈춘 건 KeepAlive 조건 때문이었다

homebrew의 colima formula가 설치한 plist의 KeepAlive에는 SuccessfulExit 조건이 걸려 있었다. 이런 꼴이다.

<key>KeepAlive</key>
<dict>
  <key>SuccessfulExit</key>
  <true/>
</dict>

launchd의 KeepAlive는 불리언 대신 조건 사전을 받을 수 있다. SuccessfulExit가 true면 프로세스가 성공(종료 코드 0)으로 끝났을 때만 다시 띄우고, 실패로 끝나면 다시 띄우지 않는다. colima는 오류로 끝났으므로 launchd는 그대로 뒀다.

실패하는 서비스를 끝없이 되살리지 않겠다는 설정이니 그 자체가 틀렸다고 하기는 어렵다. 하지만 사람이 지켜보지 않는 기계에서는 시작 실패 한 번이 누가 발견할 때까지의 전체 중단이 된다.

래퍼의 나머지

맨 위에 옮긴 반복문이 pid 정리다. ps -p <pid> -o command=로 그 pid의 명령줄을 읽는다. 프로세스가 없으면 빈 문자열이 되고, 있더라도 limactl이 아니면 낡은 것으로 보고 지운다. 살아 있는 limactl을 가리키는 파일은 건드리지 않는다. 이미 떠 있는 VM을 이 스크립트가 죽이면 안 된다. 지울 때는 그 pid가 지금 무엇인지도 로그에 남겨서 나중에 왜 지웠는지 알 수 있게 했다.

pid가 낡았다면 그 프로세스가 열어 둔 소켓 파일도 낡았다. 소켓은 살아 있는 host agent가 없을 때만 지운다.

if [ "$stale" = 1 ] && ! pgrep -f "limactl hostagent.*$LIMA_DIR" >/dev/null 2>&1; then
  rm -f "$LIMA_DIR/ha.sock"
fi

exec /opt/homebrew/opt/colima/bin/colima start -f

마지막 줄의 -f는 colima를 포그라운드에 두는 옵션이다. launchd는 자기가 띄운 프로세스를 기준으로 서비스가 살아 있는지 판단하므로 포그라운드로 남아 있어야 한다. exec로 셸을 colima로 바꿔서 launchd가 보는 프로세스가 곧 colima가 되게 했다.

plist 쪽은 조건 없는 KeepAlive로 바꿨다.

<key>ProgramArguments</key>
<array>
  <string>/Users/USERNAME/.local/bin/colima-start</string>
</array>
<key>RunAtLoad</key>
<true/>
<key>KeepAlive</key>
<true/>
<key>ThrottleInterval</key>
<integer>30</integer>

이제 어떻게 끝나든 다시 띄운다. ThrottleInterval은 재시작 간격의 하한이라, 뜬 지 30초가 안 돼 죽으면 30초를 채운 뒤에 다시 뜬다. 다시 뜰 때마다 래퍼가 pid 파일 정리부터 하므로, 이번 같은 원인이라면 다음 시도에서 풀린다. plist의 EnvironmentVariables에는 homebrew 경로를 포함한 PATH도 적어 줬다.

재부팅 사고는 기다려서 재현할 수 있는 종류가 아니라서 사고 상태를 손으로 만들었다. 낡은 vz.pid를 일부러 심어 놓고 새 LaunchAgent를 로드했고, 컨테이너 10개가 복구되는 것을 확인했다. 스크립트에는 --clean-only 인자도 넣어 두었다. 정리만 하고 colima는 시작하지 않으므로 판정 부분만 따로 돌려 볼 수 있다.

colima stop으로는 이제 안 멈춘다

조건 없는 KeepAlive에는 대가가 있다. 손으로 멈추는 방법이 달라진다. colima stop만 하면 launchd가 곧 다시 띄운다. 정말로 멈추려면 서비스 자체를 내려야 한다.

launchctl bootout gui/$(id -u)/com.example.colima

homebrew 서비스와 겹쳐도 안 된다. brew services로 colima를 다시 켜면 같은 VM을 두 서비스가 서로 띄우려 한다.

평소 습관대로 치는 명령이 이제는 다르게 동작한다. 그래서 두 가지 모두 plist 머리 주석에 적어 두었다. 설정 파일을 여는 사람이 가장 먼저 보는 자리다.