AI 모델 갈아끼우기 #2

Veo 영상 글자 깨짐, 형광펜 컷은 실제 페이지를 찍어 렌더했다

AI 모델 갈아끼우기2편 중 2번째

Veo로 만든 영상에서 글자가 깨지고 형광펜이 엉뚱한 곳에 칠해지는 건 생성 영상 속 글자가 가짜라 특정 구절을 노릴 수 없어서다. 읽혀야 하는 화면은 실제 페이지를 헤드리스 크롬으로 찍어 스크롤·드래그·형광펜을 렌더하고, 생성 영상은 손·책상 같은 분위기 컷에만 쓴다.

Veo로 판결문 위에 형광펜을 긋는 컷을 만들면 형광펜이 엉뚱한 곳에 칠해진다. 생성된 영상 속 글자는 가짜라서 “이 구절에 칠해라”를 노릴 대상이 화면에 없기 때문이다. 글자가 읽혀야 하는 컷은 실제 판결문 페이지를 헤드리스 크롬으로 찍으며 스크롤·드래그·형광펜을 렌더하는 방식으로 바꿨고, 한 편에 들어간 판결문 컷 25개가 한 번도 실패하지 않았다.

회사를 나와 AI로 일을 굴리는 중이고, 그중 하나가 한국 판결문을 영어로 풀어 주는 유튜브 롱폼 채널(Korea on Trial)이다. 영상 곳곳에 판결문 원문이 나와야 하는데, 그 화면을 AI 영상으로 메우려다 막혔다.

Veo 형광펜 컷이 반려된 이유

Veo 3.1 Fast로 뽑은 720p 형광펜 컷은 반려됐다. 형광펜을 이상한 곳에 칠했고, 영상 자체도 구렸다. 이 방식으로 10컷을 한꺼번에 뽑을 계획이었는데 그 배치는 돌리지 않았다.

출발점은 10/3의 반려였다. 시제품을 보고 “누가봐도 ai”라는 말이 나왔고, 사람 채널처럼 보이려면 실물감이 필요했다. 그런데 손과 책상을 직접 찍기는 어려웠다. 10/4에 정한 방식은 Gemini로 스틸 그림을 만들고 Veo로 그 그림을 움직이는 것, 8초짜리 720p 컷에 초당 $0.10이었다.

생성 영상의 글자는 가짜다

10/4에 이미 “생성 영상 속 한글은 가짜라 글자가 읽히는 컷에는 쓰지 않는다”고 적어 뒀다. 손이 판결문에 형광펜을 긋는 컷은 그 경계에 걸려 있었다. 손은 분위기고, 형광펜은 특정 글자를 노린다. 한 컷에 둘이 섞여 있었고, Veo에 넘긴 순간 노릴 글자가 사라졌다.

컷 안에서 시청자가 특정 단어나 구절을 읽어야 하면 그 화면은 실제 페이지를 찍어 만들고, 손·책상·폰처럼 읽을 글자가 없는 분위기 컷만 생성 영상에 맡긴다.

AI 영상으로 문서나 화면 장면을 메우고 있다면, 그 컷에서 시청자가 읽어야 할 글자가 하나라도 있는지 먼저 보세요. 있으면 그 컷은 생성 목록에서 빼는 게 맞습니다.

실제 페이지를 찍는 화면녹화풍 렌더

진짜 판결문 페이지(law.go.kr)를 헤드리스 크롬에 띄우고 배율 2.7, 즉 4K로 프레임마다 캡처하면서 휠 스크롤 3번, 화살표 커서, I빔으로 드래그 선택(파랑), 노랑 형광펜 덮기, ffmpeg zoompan으로 1.9배 줌을 차례로 렌더한다. 같은 페이지를 정지 화면으로 찍던 때에는 크롬 scrollIntoView 어긋남으로 형광펜이 한 줄 위에 칠해진 적이 있다.

렌더하면서 함정 둘을 밟았다. 커서 레이어를 형광펜 합성 레이어와 같이 두면 커서가 글자를 가려서 둘을 분리했다. ffmpeg crop에 시간식(t)을 넣어도 너비·높이는 움직이지 않아서 줌은 zoompan으로 했다. 외국 시청자가 한글을 못 읽는다는 문제는 화면 하단에 “RULING, TRANSLATED”와 영어 번역 자막을 띄워 풀었고, 자막은 형광펜이 노래지는 순간에 맞춰 뜬다.

2편 ramen-door는 비트표 175개이고, 판결문 컷 25개가 실패 없이 나왔다. 형광펜이 자막 구절과 같은 자리에 칠해졌는지는 9컷 시트로 눈으로 확인했다. 렌더가 실패하면 정지 캡처에 형광펜만 얹는 옛 방식으로 돌아가게 해 뒀다.

파이프라인에서 LLM이 정말 필요한 자리를 고를 때와 같은 질문이 영상에도 걸렸다. Veo는 손·책상·폰 인서트 자리에만 남겼고, 렌더 코드에는 테스트 3개가 붙었다.

← 전체 글