푸시한 코드가 운영에서 도는지 다섯 군데를 훑었다

커뮤니티용 텔레그램 봇은 main에 푸시하면 맥미니의 self-hosted 러너가 테스트를 돌리고, 통과하면 운영 checkout을 당긴 뒤 컨테이너를 갈아 끼운다. 지금은 “방금 고친 게 운영에 들어갔나”를 물으면 스크립트 하나를 돌린다. 출력은 번호 붙은 다섯 덩어리와 판정 한 줄이다.

  1. 이 작업 트리에 배포 안 된 새 코드가 있나
  2. 로컬과 origin/main 사이에 안 민 커밋이나 뒤처짐이 있나
  3. origin/main 커밋에 대한 CI의 test와 deploy가 초록인가
  4. 운영 checkout의 HEAD가 origin/main과 같고 dirty하지 않은가
  5. 실행 중인 컨테이너 안의 소스가 그 커밋과 같은가

맨 뒤에 공개 health 엔드포인트를 한 번 찔러 본다. 하나라도 빨강이면 종료 코드 1, 아니면 0이다. 이 스크립트는 아무것도 고치지 않는다. 운영 checkout이 dirty하면 “거기서 커밋하거나 되돌린 뒤 워크플로를 다시 돌려라, 여기서 고치지 말 것”이라고 출력만 하고 끝난다.

처음 만든 건 2026년 8월 말이고, 1번 고리의 판정은 10월 초에 다시 썼다.

다섯 번째 고리는 git에 없다

배포가 끊길 수 있는 자리는 다섯 곳인데, 앞의 네 곳은 git과 CI 기록만으로 보인다. 문제는 다섯 번째였다. 배포 스크립트는 오래 걸리는 작업이 돌고 있으면 교체를 미루는 게이트를 거친다. 거기서 교체를 못 했거나 deploy job이 빨강으로 끝났는데 그냥 지나치면, 운영 checkout의 파일은 최신인데 프로세스는 옛 코드를 들고 있다. git log도 git status도 그 상태를 보여 주지 않는다. 커밋 메시지에는 “사람이 눈으로 확인할 방법이 없었다”고 적었다.

그래서 5번은 커밋 라벨이 아니라 파일 내용을 비교한다. 컨테이너 안의 소스 디렉터리를 tar로 꺼내고, 같은 경로를 git archive로 origin/main에서 꺼내서 diff -r로 맞댄다. git archive는 지정한 트리나 커밋의 파일을 아카이브로 표준 출력에 쓰고, 경로를 주면 그 경로만 담는다. 형식을 지정하지 않으면 tar다. 바이트코드 캐시만 빼면 두 디렉터리는 완전히 같아야 한다. 반쯤 된 교체가 있으면 그것도 diff에 나온다. 아래에서 ok, bad, note는 표시를 찍고 빨강과 경고 수를 세는 한 줄짜리 함수다(이름은 바꿨다).

tmp=$(mktemp -d); trap 'rm -rf "$tmp"' EXIT
mkdir -p "$tmp/live" "$tmp/want"
if docker exec "$CONTAINER" tar -cf - -C /app src 2>/dev/null | tar -xf - -C "$tmp/live" \
   && git archive --format=tar "$main_sha" src | tar -xf - -C "$tmp/want"; then
  drift=$(diff -r -x '__pycache__' -x '*.pyc' "$tmp/want" "$tmp/live" 2>&1 | head -40)
  if [[ -z "$drift" ]]; then ok "컨테이너 소스가 origin/main 과 일치"
  else bad "컨테이너 코드가 origin/main 과 다름"; printf '%s\n' "$drift"; fi
else
  note "컨테이너 소스를 못 꺼냈다 (수동 확인)"
fi

컨테이너 이미지에 굽지 않고 마운트하는 설정 파일은 diff로 볼 수 없다. 그건 컨테이너 기동 시각이 운영 checkout의 마지막 커밋 시각보다 이르면 빨강으로 친다. 시각을 epoch로 바꾸는 데서 한 번 걸렸다. 맥의 BSD date로는 docker inspect가 주는 ISO 시각을 읽지 못했고, GNU의 date -d는 맥에 없다. 커밋 쪽은 git log --format=%ct가 바로 epoch를 주고, 컨테이너 쪽은 파이썬 한 줄로 읽는다. 둘 중 하나라도 못 구하면 이 검사는 조용히 건너뛴다.

맥북에서 돌리면 도커도 운영 checkout도 없으니 4번과 5번은 “확인 못 함”으로 찍고 3번의 deploy 초록으로 대신한다. deploy job은 교체까지 끝나야 초록이 되기 때문이다. 맥미니에서 환경변수 하나를 주면 맥북에서 보이는 화면을 미리 볼 수 있게 해 뒀다.

변경 표시 17개 중 미배포는 하나였다

8월의 1번 고리는 단순했다. git status --porcelain이 비어 있지 않으면 빨강이었다. 10월 초에 이 기준이 쓸모없다는 게 드러났다.

10월 2일에 한 수정이 끝났고, 작업하던 세션이 “미배포인데 배포할까요”라고 물었다. 그 질문이 다른 이야기에 묻혀서 그 수정은 하루 가까이 운영에 없었다. 다음 날 그 작업 트리를 훑어보니 M과 ?? 표시가 17개였고, 진짜 미배포는 그 하나뿐이었다.

이 트리는 AI 코딩 세션 여러 개가 같이 쓰는 공용 작업 트리였다. 나머지 16개는 둘 중 하나였다. 다른 worktree에서 이미 커밋하고 배포한 파일의 사본이거나, 로컬 main이 origin/main과 갈라지면서 남은 옛 버전이었다. git status는 작업 트리를 인덱스와, 인덱스를 로컬 HEAD와 비교한다. origin/main은 비교 대상이 아니다. 로컬 HEAD가 뒤처져 있으면 이미 배포된 내용도 변경으로 찍힌다. 17개가 늘 빨강이면 그중 진짜 하나가 눈에 들어오지 않는다.

통째 비교가 옛 사본을 미배포로 잡았다

먼저 떠오른 기준은 파일 내용을 통째로 origin/main의 blob과 비교하는 것이었다. 같으면 배포된 사본이다. 그런데 다르다고 미배포는 아니었다. 그날 트리에 있던 파일 하나는 origin/main에 비해 새로 생긴 줄이 0개, 빠진 줄이 9개였다. 이미 배포된 변경을 일부 담은 옛 사본이라 통째 비교로는 다른 파일이 되고, 미배포로 잘못 잡혔다.

그래서 판정을 줄 단위로 바꿨다. 로컬 파일에서 origin/main 버전에 없는 줄을 고르고, 그중에서 origin/main 이력의 어떤 diff에도 추가나 삭제로 한 번도 나온 적 없는 줄만 센다. 그런 줄이 하나라도 있으면 미배포다. 코드의 git()은 git -C repo를 subprocess로 부르고 표준 출력을 돌려주는 작은 래퍼다. 옛 버전에만 있는 줄은 언젠가 이력에서 지워진 줄이라 걸러지고, 배포된 사본은 고를 줄이 처음부터 없다.

def novel_lines(repo: str, ref: str, path: str) -> int:
    """로컬에만 있고 ref 이력 어디에도 없던 (빈 줄 아닌) 줄 수."""
    try:
        with open(os.path.join(repo, path), encoding="utf-8") as f:
            cur = f.read().splitlines()
    except (OSError, UnicodeDecodeError):       # 지워진 파일, 바이너리
        return 0
    at_ref = set(git(repo, "show", f"{ref}:{path}").splitlines())
    added = [ln for ln in cur if ln.strip() and ln not in at_ref]
    if not added:
        return 0
    hist = set()
    for ln in git(repo, "log", "-p", "--format=", ref, "--", path).splitlines():
        if ln[:1] in "+-" and ln[:3] not in ("+++", "---"):
            hist.add(ln[1:])
    return sum(1 for ln in added if ln not in hist)

스크립트는 표준 라이브러리만 쓴다. launchd에서 시스템 파이썬으로 돌리기 때문이다. fetch는 부르는 쪽이 한다. 출력은 파일마다 경로, 새 줄 수, 마지막 수정 시각 한 줄씩이다. 1번 고리도 이 판정으로 바꿔서, 변경 표시가 있어도 새 줄이 없으면 “새 코드 없음, 변경 표시 N개는 이미 배포된 사본이거나 뒤처진 옛 버전”이라고 초록으로 찍는다. 새 줄이 있는 파일을 찾으면 “다른 세션이 고치는 중일 수도 있으니 남의 파일을 배포하기 전에 물어볼 것”을 덧붙인다.

로컬 main이 갈라진 원인도 같이 고쳤다. 배포 절차가 공용 트리에서 main을 checkout하고 merge하고 있었다. 지금은 origin/main을 기준으로 git worktree를 하나 만들고, 그 세션이 고친 파일만 옮겨서 커밋하고 푸시한다. linked worktree는 저장소를 공유하면서 HEAD와 인덱스를 따로 가지므로 공용 트리의 브랜치 상태를 건드리지 않는다.

매일 아침 9시, 묵은 것만

10월 2일 건은 세션 안에서 안내가 한 번 지나가고 끝난 게 문제였다. 그래서 작업 트리 자체를 하루 한 번 훑는 뒷그물을 launchd 에이전트로 달았다. StartCalendarInterval로 매일 09:00에 돈다.

마지막 수정 후 180분이 안 지난 파일은 뺀다. 지금 누가 고치는 중일 수 있어서다. 남은 미배포가 있으면 소유자에게 DM을 보낸다. 파일마다 새 줄 수와 날짜를 적고, 배포할 거면 그 세션에서 배포하고 버린 작업이면 지워 달라고 쓴다. 없으면 아무것도 보내지 않는다. fetch가 실패하면 마지막으로 받은 origin/main 기준이라고 본문에 밝힌다. 판정 스크립트가 git 오류(종료 코드 2)를 내면 DM 없이 로그에만 남긴다.

launchd가 부르는 건 공용 작업 트리가 아니라 운영 checkout에 있는 사본이다. CI가 배포할 때마다 그 checkout을 최신으로 당겨 두니, 점검 스크립트 자체도 늘 배포된 버전으로 돈다.

줄 단위 판정이 놓치는 것

코드에서 보이는 빈틈이 셋 있다. 첫째, 세는 건 추가된 줄뿐이다. 줄을 지우기만 한 수정은 새 줄이 0개라 미배포로 잡히지 않는다. 둘째, 이력 어딘가에 한 번이라도 있었던 줄은 새 줄로 치지 않는다. 예전에 지운 줄을 되살리는 수정이나 흔한 한 줄만 바뀐 수정은 걸러진다. 셋째, 바이너리와 UTF-8이 아닌 파일은 판정하지 않는다. 지금까지 이 셋 때문에 미배포를 놓친 기록은 없다. 놓쳤더라도 이 방식으로는 알 수 없다.

그래서 처음 볼 곳은 여전히 5번이다. 1번이 미배포 없음이라고 해도 컨테이너 안의 파일이 origin/main과 diff 0인지는 따로 확인한다. 1번은 무엇이 아직 안 갔는지를 알려 주는 고리고, 배포됐는지를 확정하는 건 5번이다.