쇼츠 전략

인터뷰·팟캐스트 영상 쇼츠 만드는 법 — 화자 트래킹 자동 편집

김승주 · 2026년 7월 20일

인터뷰와 팟캐스트는 쇼츠로 만들기 가장 까다로운 포맷입니다.

대담이든 토크든 좌담이든, 부르는 이름은 달라도 문제는 하나로 모입니다. 화자가 둘 이상이라는 것. 가로 화면을 세로로 자르면 진행자든 게스트든 한 명은 화면 밖으로 나갑니다. 그래서 편집자는 말하는 사람이 바뀔 때마다 화면에 보여줄 부분을 일일이 옮겨줘야 해요. 클립 하나 만드는 데 편집 시간의 절반이 여기서 나가죠.

이걸 자동으로 푸는 게 화자 트래킹입니다. 말하는 사람을 화면이 알아서 따라가는 기능이죠. 이 글에선 인터뷰·팟캐스트 영상을 쇼츠로 만드는 전체 흐름과, 그 과정을 자동화하는 방법을 정리했습니다.

인터뷰·팟캐스트 영상이 쇼츠로 만들기 까다로운 세 가지 이유

• 한 프레임에 두 명이 앉아 있다 가로 16:9를 세로 9:16으로 자르면 쓸 수 있는 폭이 3분의 1 남짓으로 줄어요. 둘을 다 담으면 인물이 너무 작고, 한 명에 맞추면 다른 한 명이 사라집니다.
• 좋은 순간이 자막에 안 남는다 답하기 전에 한 박자 멈추는 순간, 상대가 말을 끊고 들어오는 지점, 목소리에 확신이 실리는 구간. 글로 옮기면 평범한 한 줄입니다. 음성만 듣고 자르는 도구는 이 차이를 못 봐요.
• 말하는 사람이 계속 바뀐다 40초짜리 클립 하나에서도 화자가 대여섯 번 바뀝니다. 그때마다 보여줄 영역을 옮겨야 하니 클립 하나에 손이 수십 번 가요.

화자 트래킹: 말하는 사람을 화면이 따라갑니다

화자 트래킹은 지금 말하고 있는 사람을 영상에서 찾아내고, 세로 프레임을 그 사람에게 맞춰 자동으로 옮기는 기능입니다. 화자가 바뀌면 화면도 따라 바뀌어요.

여기서 갈리는 지점이 있습니다. 음성만 분석하는 도구도 누가 말하는지는 압니다. 목소리가 다르니까요. 하지만 그 사람이 화면 어디에 있는지는 모릅니다. 그건 소리가 아니라 영상을 봐야 아는 정보예요. 알파컷이 음성 인식이 아니라 영상 자체를 이해하는 모델을 쓰는 이유가 여기 있습니다.

레이아웃도 한 가지가 아닙니다. 한 사람이 길게 말하는 구간은 그 사람만 단독으로 담고, 서로 짧게 주고받는 구간은 화면을 위아래로 나눠 둘 다 남깁니다. 인터뷰에서 이게 중요한 이유가 있어요. 말하는 사람만 보이면 그 말이 어떻게 받아들여졌는지가 통째로 빠집니다. 듣는 쪽 표정이 같이 있어야 대화가 대화로 보여요.

어떤 장면을 잘라야 조회수가 나올까

원본이 90분이면 쇼츠 후보는 수십 개입니다. 포맷이 정보성이든 예능형이든, 살아남는 클립에는 공통점이 있어요.

• 설명이 아니라 도착점 인터뷰에서 가장 긴 부분은 설명입니다. 근거를 쌓고 배경을 깔다가 한 문장에 도착해요. 클립이 되는 건 그 한 문장입니다. 경제 인터뷰라면 "그래서 내년 상반기입니다" 같은 단언이고, 예능형이라면 웃음이 터지는 지점이죠. 장르는 달라도 위치는 같습니다.
• 앞뒤를 몰라도 이해되는가 "아까 말씀하신 그거"로 시작하면 앞 40분을 본 사람만 알아듣습니다. 대화 한복판이어도 문장 하나로 상황이 서는 지점을 찾아야 해요.
• 의견이 갈리는 순간 끄덕이며 주고받는 구간은 밋밋합니다. 한쪽이 "그건 좀 다르게 봅니다" 하는 지점이 클립이 돼요. 정보성 대담일수록 이 구간이 신뢰를 만듭니다.
• 첫 3초에 무엇이 보이는가 스크롤을 멈추게 하는 건 대사가 아니라 화면입니다. 그래서 클립의 시작점을 말이 시작되는 순간이 아니라 그 직전 프레임으로 잡아야 할 때가 많아요.

자막 텍스트는 무슨 말을 했는지는 알려주지만 어떻게 말했는지는 못 알려줍니다. 같은 문장도 힘을 실은 구간과 흘려 말한 구간은 성적이 달라요. 유튜브도 2025년 10월 팟캐스트 제작 가이드에서 "에피소드를 뒤져 가장 강력한 60초짜리 순간을 찾아내 세로 영상으로 편집하라"고 권합니다. 남은 문제는 90분을 사람이 직접 뒤지는 시간이고요.

90분 팟캐스트 원본에서 쇼츠까지, 전체 순서

찍어둔 원본이 90분이라고 해볼게요. 그대로는 못 올립니다. 군말과 정적을 걷어내고 자막을 넣어야 롱폼이 되죠.

여기서 롱폼 편집을 씁니다. 원본을 넣으면 불필요한 구간을 잘라내고 자막을 얹어 20분 안팎의 롱폼을 만들어줘요. 대화 흐름을 기준으로 컷을 잡아서 인터뷰나 대담처럼 말이 오가는 포맷에 맞춰져 있습니다.

그다음이 쇼츠입니다. 완성된 롱폼을 알파컷에 넣으면 화자 트래킹으로 세로 프레임을 잡고, 반응이 터지는 구간을 골라 10편 안팎을 만듭니다. 자막, 제목, 첫 3초 후킹까지 붙은 상태로 나와요. 촬영이 끝난 뒤부터는 사람이 붙어 있어야 하는 구간이 사실상 없습니다.

정리

• 인터뷰·팟캐스트가 어려운 건 화자가 둘 이상이고, 세로로 자르면 한 명이 프레임 밖으로 나가기 때문
• 화자 트래킹이 말하는 사람을 따라 세로 프레임을 자동으로 옮겨준다
• 잘 터지는 클립은 긴 설명이 아니라 그 설명이 도착한 한 문장, 앞뒤 없이도 이해되는 구간, 의견이 갈리는 순간
• 그 판단은 자막 텍스트가 아니라 영상을 봐야 가능하다
• 90분 원본 → 롱폼 편집 → 세로 쇼츠 10편까지 한 흐름으로 이어진다

녹화는 이미 끝났습니다. 남은 건 알파컷에 링크를 붙여넣는 일뿐이에요.

본문의 화자 트래킹 예시 화면은 Didi의 한국문화 Podcast 님과 All Things Korean Podcast 님의 유튜브 영상 「원본 영상 제목」에서 일부 장면을 발췌해, 알파컷이 세로 화면으로 자르고 자막·제목을 얹어 편집·재구성한 2차 저작물입니다. 원본에는 크리에이티브 커먼즈 저작자 표시 4.0 라이선스(CC BY 4.0)가 적용되어 있으며, 이 예시 화면 중 원본에서 비롯한 부분에도 같은 라이선스가 그대로 적용됩니다.