배포가 20분짜리 전사를 죽여서 게이트를 여섯 번 고쳤다

2026년 8월 초, 하룻밤에 배포가 음성 전사를 두 번 죽였다. 전사는 20분이 넘게 걸리는데 배포가 들어오면서 프로세스가 내려갔고, 채팅에는 “전사 중…”이라는 진행 표시 메시지만 남았다. 그 메시지를 고쳐 쓸 프로세스가 없으니 표시는 영원히 그대로였다. 두 번째는 37분짜리 오디오였다.

커뮤니티용 텔레그램 봇을 맥미니 한 대에서 Docker 컨테이너로 돌리고 있다. 코드를 자주 고치다 보니 배포가 하루에 많게는 수십 번이고, 배포는 곧 컨테이너 교체다. 그날부터 9월 하순까지 “지금 컨테이너를 갈아도 되는가”를 판정하는 스크립트를 여섯 번 고쳤다.

그 뒤로도 모양만 바꿔 같은 일이 이어졌다. 사용자가 버튼 격자를 눌러 가며 입력을 채우는 도중에 컨테이너가 교체됐다. 저장 버튼을 누른 뒤 시트에 쓰는 도중에 교체되면 그 회차가 반쯤만 들어갔다. 9월 하순에는 12분 사이에 배포가 네 번 돌면서 2~5분 걸리는 문서 번역 두 건이 모두 “오류”로 끝났다.

25초 안에 못 끝나는 일

봇은 종료 신호를 받으면 진행 중인 외부 호출에 25초를 주고 끊는다. 몇 초짜리 작업에는 충분하다. 20분짜리 전사는 애초에 그 안에 들어갈 수 없다.

끊긴 작업을 다음 부팅 때 이어서 하는 재개 장치는 일부 작업에만 있었다. 착수 전에 파일로 적어 두고 부팅 때 다시 돌리는 방식인데(이 글에서는 durable job이라고 부른다) 전사와 문서 변환 계열에는 없었고, 전부에 붙이는 것은 큰 공사였다.

그리고 배포 스크립트는 호스트에서 돈다. 컨테이너 안의 파이썬 프로세스가 지금 무엇을 하는지는 호스트에서 보이지 않는다. 여섯 번의 수정은 대부분 프로세스 안의 상태를 호스트에서 읽을 수 있는 신호로 바꾸는 일이었다.

처음엔 무거운 일이 돌면 배포를 막았다

재개 장치를 전부 만들기 전까지는 배포를 잠깐 미루는 것이 가장 싼 방어라고 판단했다. 교체 직전에 판정 스크립트를 돌려서 무거운 일이 돌고 있으면 배포를 중단한다. 본 신호는 셋이다.

  • 컨테이너 CPU. 전사는 봇 프로세스 안의 스레드로 돌아서 ps에 따로 잡히지 않는다. 대신 CPU를 많이 쓴다. 돌 때는 600%, 쉴 때는 한 자릿수였고 기준은 50%로 잡았다.
  • 자식 프로세스 이름. 외부 CLI 호출처럼 대부분 네트워크를 기다리는 일은 CPU가 낮게 나와서, 컨테이너 안의 프로세스 목록에서 이름으로 찾았다.
  • 미완료 durable job 파일. 재개될 일이 남아 있으면 지금은 조용한 시점이 아니라고 읽었다.

게이트 위치는 이미지 빌드 뒤, 교체 직전이다. 빌드는 옛 컨테이너가 서비스하는 동안 도니까 안전하고, 빌드하는 몇 분 사이에 작업이 끝나 있을 수도 있다. 판정이 늦을수록 헛되이 막는 일이 줄어든다. 급할 때는 환경변수 하나로 건너뛸 수 있게 했다.

이틀 만에 막는 걸 그만뒀다

막아 두니 배포하려던 쪽이 몇 분마다 다시 시도하며 기다리게 됐다. 무엇이 배포를 붙잡고 있는지는 그 터미널을 보고 있는 사람만 알 수 있었다.

그대로 교체하되, 무엇이 죽을지를 봇 소유자에게 DM으로 남기도록 바꿨다. 잃은 작업이 있으면 그 메시지를 보고 다시 돌리면 된다. 막는 동작은 옵션으로만 남겼다.

같은 날, 사용자가 버튼 격자를 채우는 중에 교체가 들어가면 입력이 날아가지 않느냐는 지적이 있었다. 확인해 보니 격자 자체는 교체를 견뎠다. 대화 상태를 python-telegram-bot의 PicklePersistence로 디스크에 얹어 두었기 때문에 교체 뒤에도 이어서 누를 수 있고, 그 사이 눌린 버튼은 텔레그램이 받아 가지 않은 update로 최대 24시간 보관했다가 봇이 돌아오면 전달한다.

남는 위험은 저장 버튼을 누른 뒤 시트에 쓰는 몇 초였다. 그 창을 피하려고 상태 피클 파일의 수정 시각을 “마지막 입력 시각”으로 쓰기로 했다. 이 파일은 세션이 바뀔 때만 쓰이고 쉴 때는 갱신되지 않는다(4분 동안 그대로인 것을 확인했다). 최근 90초 안에 입력이 있었으면 15초 간격으로 최대 180초까지 기다리고, 그래도 입력이 계속되면 교체하고 DM을 남긴다. 무한정 미루지는 않는다.

저장 중이라는 건 CPU로도 피클로도 안 보였다

몇십 분 뒤에 두 신호의 사각지대를 찾았다. 시트 쓰기는 거의 전부 네트워크 대기라 CPU가 한 자릿수로 나온다. 피클의 수정 시각은 마지막 입력이 몇 초 전인지만 알려 주고, 지금 쓰는 중인지는 모른다. 저장 버튼을 누른 뒤 쓰기가 40초 걸리면 그 사이 새 입력이 없으니 한가해 보인다. 그 틈에 교체되면 그 회차만 반쯤 들어가고, 사용자는 저장된 줄 알고 창을 닫는다.

봇이 직접 “지금 쓰는 중”을 파일로 남기게 했다. 컨테이너와 호스트가 같이 보는 디렉터리에 작업마다 파일 하나를 두면 호스트에서는 find 한 번으로 읽힌다.

@contextlib.contextmanager
def mark(kind: str, label: str):
    """이 블록이 도는 동안 마커 파일 하나를 둔다."""
    path = BUSY_DIR / f"{kind}-{os.getpid()}-{uuid.uuid4().hex[:8]}.marker"
    try:
        BUSY_DIR.mkdir(parents=True, exist_ok=True)
        path.write_text(f"{label}\n", encoding="utf-8")
    except Exception:
        path = None  # 마커는 조언일 뿐이다. 못 남겨도 저장은 진행한다.
    try:
        yield
    finally:
        if path is not None:
            try:
                path.unlink(missing_ok=True)
            except Exception:
                pass

파일 내용은 사람이 읽을 한 줄이다. 배포 스크립트는 무엇을 기다리는지 출력할 때 이 줄을 그대로 쓴다.

저장은 전사와 달리 몇 초에서 수십 초면 끝나므로 기다린다. 배포 스크립트는 마커가 사라질 때까지 5초 간격으로 기본 300초를 기다리고, 그래도 남아 있으면 교체하고 DM을 남긴다. 5분 넘게 안 끝나는 저장은 어딘가에 매달린 것일 가능성이 높다고 봤다.

표시 대상은 사람이 누른 저장뿐이다. 백그라운드 작업의 쓰기에는 마커를 두지 않았다. 끊겨도 다음 주기가 따라잡고, 매시간 도는 동기화까지 잡으면 배포가 늘 기다리게 된다.

죽은 마커는 두 겹으로 거른다. 컨테이너가 저장 도중에 죽으면 finally가 돌지 못해 파일이 남는다. 봇이 부팅할 때 남은 마커를 전부 지우고(그 주인 프로세스는 이미 없다), 봇이 아예 못 뜨는 경우에 대비해 호스트 스크립트도 10분보다 오래된 마커는 무시한다.

# 최근 10분 안에 수정된 저장 마커만 센다
find "$BUSY_DIR" -maxdepth 1 -name 'save-*.marker' \
     -mmin "-${STALE_MIN}" 2>/dev/null | sort

저장 대기는 입력 대기 뒤에 둔다. 입력을 기다리는 몇십 초 사이에 사용자가 저장을 누를 수 있어서, 순서를 바꾸면 방금 시작된 저장을 그대로 밟는다.

내 작업 때문에 내 배포에 경고가 왔다

이틀 뒤, 방금 시킨 작업 때문에 내 배포에 “유실 가능” 경고 DM이 왔다. 그때까지 게이트는 무엇이 도는지만 보고 누구 것인지는 보지 않았다. 다른 사용자가 입력 격자를 채우는 중과 내가 방금 돌린 작업이 같은 등급으로 떴다.

봇이 DM 메시지와 버튼 콜백을 받을 때마다 사용자별 파일 하나를 touch하게 했다. 연타해도 5초에 한 번만 쓰고, 그룹에 오가는 일반 글은 세지 않는다. 호스트 스크립트는 소유자를 뺀 사람의 파일만 수정 시각으로 읽는다. 판정 결과는 종료 코드 셋으로 나뉜다.

종료 코드뜻배포 스크립트의 동작
0한가함바로 교체
1남의 작업이 진행 중최대 300초 대기, 넘기면 교체하고 DM
2내 작업이거나 재개되는 일뿐조용히 교체, DM 없음

전사처럼 CPU나 프로세스 이름으로만 보이는 작업은 누가 시켰는지 알 수 없다. 이 경우는 최근 900초 안에 다른 사람의 입력이 있었는지로 추정하고, 없었으면 소유자 것으로 본다. 정확한 판정은 못 되고 추정이다.

같이 바꾼 것이 있다. 미완료 durable job은 신호에서 뺐다. 부팅 때 재개되도록 만든 부류라 교체를 미룰 이유가 없었다. 저장 마커는 누구 것이든 계속 기다린다. 반쯤 들어간 저장이 사후에 되찾기 가장 비싸다. 피클 수정 시각 대기는 이 신호로 흡수했다. 주인을 모르는 신호라 소유자 본인도 3분을 기다리고 있었다.

9월 하순, 12분 사이에 배포 네 번

문서 번역 사고가 여기서 나왔다. 진행 중이던 번역은 25초 유예 뒤에 끊겼다. 이 번역은 2~5분을 물고 있는데 재개 장치가 없어서 교체 한 번이면 통째로 사라진다.

번역이 도는 동안 저장 때 쓰던 마커를 job이라는 종류로 남기고, 판정 스크립트가 이것을 보면 기다리게 했다. 소유자 것이어도 기다린다. 소유자 예외는 내 배포가 내 작업을 막는 것은 소음이라는 전제 위에 있었는데, 그 사이에 배포를 실행하는 쪽이 사람이 아니라 다른 작업 세션인 경우가 생겼다. 배포를 누른 쪽이 그 작업을 알고 있다는 전제가 깨졌다.

여섯 번을 고친 뒤에도 20분짜리 작업은 대기 상한을 넘기면 여전히 죽는다. 게이트는 재개 장치의 대용품이고, 전사 쪽은 끊겨도 다시 시작하게 만드는 것이 맞는 방향이다.