텔레그램 앨범을 첫 장만 보고 처리하다가 네 번 고쳤다
커뮤니티용 텔레그램 봇에서 사진 여러 장을 묶은 앨범 때문에 고친 곳이 석 달 동안 네 군데 나왔다. 한 방에 올라온 글을 다른 방으로 옮겨 보내는 중계, 그 뒤의 기록과 승인 단계, 기록된 파일을 다시 올리는 폴백, 운영자가 봇에게 파일을 넘기며 지시하는 기능이다. 증상은 저마다 달랐는데, 고친 코드를 나란히 놓으면 앨범을 메시지 한 통처럼 다룬 자리가 매번 원인이었다.
API 쪽에서 보면 앨범은 따로 존재하는 물건이 아니다. sendMediaGroup은 사진·영상·문서를 앨범으로 보내고, 성공하면 보낸 Message 객체의 배열을 돌려준다고 문서에 적혀 있다. 받는 쪽에서도 장마다 Message가 하나씩 오고, 같은 앨범의 장들은 같은 media_group_id를 달고 있을 뿐이다. 묶음으로 다룰지는 받는 코드가 정한다.
8월 초, 캡션은 둘째 장에 있었다
중계 코드는 앨범을 받으면 장들을 모아 send_media_group으로 다시 보낸다. 캡션은 msgs[0], 첫 장에서만 읽었다. 그날 들어온 앨범은 첫 장에 캡션이 없고 둘째 장에 있었다. 텔레그램 화면에서는 그 캡션이 앨범 전체의 글로 보이는데, 봇이 옮긴 앨범에는 사진만 있었다. 캡션이 없으니 그 뒤에 붙은 후속 처리도 “캡션 없는 앨범”으로 보고 건너뛰었다.
같은 봇의 다른 핸들러는 이미 아무 장에서나 캡션을 찾고 있었고, 중계만 그러지 않았다. 규칙을 그쪽에 맞췄다. 캡션은 캡션이 붙은 장에서 읽고, 붙이는 곳은 실제로 나가는 첫 조각으로 바꿨다. 스티커처럼 앨범에 넣지 못하는 장이 맨 앞에 있으면 첫 장은 건너뛰어지는데, 그때 캡션까지 같이 사라지면 안 되니까(식별자는 바꿨다).
def album_caption(msgs):
src = next((m for m in msgs if m.caption), None)
if src is None:
return None, None, None, None
return caption_parts(src) # (캡션, 엔티티, 넘친 본문, 엔티티)
cap, cap_ents, over, over_ents = album_caption(msgs)
items = []
for m, got in zip(msgs, files):
if got is None:
continue
kind, buf = got
cls = MEDIA_CLASSES.get(kind)
if cls is None: # 앨범에 못 넣는 종류
continue
kw = {}
if not items: # 실제로 나가는 첫 조각에만
kw = {"caption": cap, "caption_entities": cap_ents}
items.append(cls(media=buf, **kw))
1,160자 캡션은 두 통이 됐고 원장에도 두 건으로 남았다
다음 날 고친 것도 같은 중계였다. 캡션은 sendPhoto 문서 기준으로 엔티티를 해석한 뒤 0~1024자다. 그래서 중계는 1024자를 넘는 캡션을 잘라 넘친 본문을 미디어 바로 뒤에 텍스트 메시지로 따로 보내고 있었다. 사진 한 장에 1,160자 캡션이 붙은 글이 들어오자 목적지에는 사진 한 통, 본문 한 통이 갔다. 여기까지는 의도한 동작이다.
문제는 그다음이었다. 중계가 끝나면 보낸 메시지들을 후속 처리에 넘기는데, 메시지마다 따로 넘겼다. 그러자 기록 원장에도 이 글이 두 건으로 남았다. 승인 리액션은 원장의 한 건만 내보내므로, 리액션을 누르자 본문만 나가고 사진이 빠졌다.
갈라 보낸 사실을 아는 곳은 중계의 송신 함수뿐이었다. 그래서 그 함수가 보낸 메시지 목록과 함께 밀려난 본문을 같이 돌려주게 바꿨다. 본문이 있으면 후속 처리는 작업 하나만 만든다. 미디어는 미디어대로 두고, 밀려난 본문을 그 미디어의 캡션으로 삼아 캡션이 한도 안에 들어간 글과 같은 경로를 탄다. 원장에는 첫 메시지 번호 아래에 두 메시지 번호를 묶은 한 건이 남고, 리액션 한 번에 사진과 본문이 같이 나간다. 처리 결과가 다시 1024자를 넘으면 그 뒤의 작업이 같은 규칙으로 또 나눠 보낸다. 이 경우를 고정하는 테스트도 같이 넣었다. 갈라진 글이 작업 한 건으로 가는지, 처리할 본문이 밀려난 캡션 전문인지, 갈라지지 않은 글은 예전 경로 그대로인지를 본다.
10월 말, Can’t parse inputmedia
기록해 둔 파일을 다른 봇 계정으로 다시 올리는 폴백 경로가 있다. 10월 말에 두 장짜리 앨범을 다시 보내자 운영 서버에서 이렇게 실패했다.
Can't parse inputmedia: media not found
이 코드는 파일을 경로로 넘기지 않고 바이트를 읽어 InputFile로 직접 감싸서 InputMediaPhoto 같은 클래스에 넣고 있었다. 경로로 보내면 파일 이름이 저장 슬롯 이름으로 바뀌어 받는 사람에게 보이기 때문이다. 고친 것은 인자 하나다.
blobs.append(InputFile(
Path(path).read_bytes(),
filename=rec.get("file_name") or Path(path).name,
attach=len(recs) > 1, # 앨범 조각은 attach:// 로 가리킨다
))
Bot API에서 앨범의 각 항목은 JSON 안에 들어가고, 새로 올리는 파일은 attach://<이름>으로 multipart 본문의 어느 파트인지 가리켜야 한다. python-telegram-bot의 InputFile 문서에서 attach는 이 파일이 속한 파라미터가 multipart 데이터를 가리켜야 할 때 True를 주는 값이고 기본값은 False다. 라이브러리 소스를 보면 InputMediaPhoto는 받은 media를 attach=True로 처리하는데, 바이트나 파일 객체는 그 인자로 새 InputFile을 만들고 이미 InputFile인 값은 손대지 않고 그대로 쓴다. 바이트를 그냥 넘겼으면 라이브러리가 붙여 줬을 표시를, 직접 감싸면서 빠뜨린 셈이다. 파일이 하나면 앨범이 아닌 단일 전송 함수로 가므로, 고친 코드도 조각이 둘 이상일 때만 attach를 켠다. 테스트에는 앨범 조각마다 attach_uri가 있는지 확인하는 줄을 더했고, 고친 코드를 손으로 한 번 돌려 전송을 확인한 뒤 배포했다.
11월 중순, 한 장씩 오는 앨범을 2.5초 기다렸다 모았다
마지막은 봇에게 앨범으로 지시할 때였다. 운영자가 파일과 함께 캡션으로 할 일을 적으면 봇은 그 둘을 한 번에 넘겨 처리한다. 캡션 없는 파일만 오면 받아 두고 무엇을 할지 묻는다. 앨범을 보내면 캡션이 붙은 장만 지시와 함께 넘어가고, 나머지 장은 각각 캡션 없는 파일로 취급돼 같은 질문이 장 수만큼 돌아왔다. 핸들러가 장 하나를 메시지 하나로 처리하고 있었으니 당연한 결과다.
고친 코드는 media_group_id가 있는 장을 대화와 묶음 id로 만든 키 아래에 모은다. 첫 장이 들어올 때 정리 작업을 하나 띄우고, 장마다 다운로드 중인 개수와 마지막으로 들어온 시각을 적는다. 정리 작업은 2.5초마다 깨어나, 받는 중인 장이 없고 마지막 장 뒤로 2.5초가 지났을 때만 묶음을 꺼낸다.
SETTLE_S = 2.5
async def flush_album(key, route, context):
while True:
await asyncio.sleep(SETTLE_S)
buf = albums.get(key)
if buf is None:
return
if buf["inflight"] == 0 and time.time() - buf["last"] >= SETTLE_S:
break
buf = albums.pop(key)
files = [f for _, f in sorted(buf["files"])]
caption = "\n".join(c for _, c in sorted(buf["captions"]))
...
다운로드 중인 개수를 따로 센 건 시각만 보면 큰 파일을 받는 동안 묶음이 먼저 닫힐 수 있어서다. 받기가 끝날 때 finally에서 개수를 줄이고 시각을 갱신하니, 느린 다운로드는 조용한 시간을 그만큼 뒤로 민다. 파일과 캡션은 메시지 번호로 정렬해서 장이 도착한 순서가 아니라 보낸 순서를 따른다. 캡션은 붙은 장이 어디든 다 모아 줄바꿈으로 잇는다. 캡션이 하나도 없는 앨범이면 파일을 전부 대기 목록에 넣고 한 번만 묻고, 다음에 오는 글이 그 파일들을 다 가져간다. 기준 메시지는 번호가 가장 작은 장으로 바꿔 가며 잡아 두고, 답장은 그 장에 단다.
2.5초는 잰 값이 아니고 커밋에 정한 값으로만 남아 있다. 장 사이 간격이 이보다 길게 벌어지는 경우가 있는지는 아직 보지 않았다. 그렇게 되면 앨범 하나가 두 묶음으로 갈리고, 캡션 없는 쪽에서 질문이 한 번 더 온다.
이 커밋 메시지에는 “캡션은 첫 장에만 붙는다”고 적혀 있다. 8월의 중계 수정은 캡션이 둘째 장에 붙은 실제 앨범에서 출발했으니 두 기록이 맞지 않는다. 다행히 11월 코드도 모든 장에서 캡션을 모으므로 동작은 8월 규칙과 같다. 앨범을 다루는 곳이 또 생기면 첫 장 가정이 있는지부터 보고, 캡션 위치는 커밋 메시지 말고 그 코드에서 확인할 생각이다.