유튜브 90분 영상에서 원하는 장면만 골라 찾는 방식이 열렸다. 구글은 2026년 9월 1일 에이전틱 비디오 이해(agentic video understanding)를 공개했다. 지금은 개발자용 API 기능이고, 유튜브 앱 적용은 아직 앞으로의 일이다. 하지만 방향은 분명하다. 앞으로 “이 90분 영상에서 배터리 테스트 부분만 찾아줘” 같은 질문이 가능해진다.
핵심은 하나다. 지금까지 AI는 영상을 얼마나 많이 볼지 고민했다. 이번 변화는 그 질문을 어디를 다시 볼지로 바꿨다.
이 글의 정보 기준
본문의 수치·기능은 구글 공식 발표(2026-09-01)와 Gemini API 문서를 직접 확인한 것이다. 88%·66%·7%는 모두 구글 자체 벤치마크의 “최대” 수치이며, 모든 영상에서 같은 효과가 난다는 뜻이 아니다.
긴 유튜브 영상 안에서 무엇이 바뀌나
지금 유튜브 검색은 “어떤 영상을 찾을 것인가”가 중심이다. 검색창에 키워드를 넣으면 관련 영상 목록이 나온다. 그 영상 안에서 원하는 순간을 찾는 건 여전히 사람 몫이다.
에이전틱 비디오 이해가 확산되면 검색 단위가 영상 안쪽으로 내려간다. 구글은 이 기능을 앞으로 유튜브 Ask YouTube에 적용하겠다고 밝혔다. 그러면 이런 질문이 가능해진다.
- 57분짜리 리뷰 영상에서 배터리 테스트 부분만 찾아줘
- 이 강의에서 교수가 엔트로피를 설명한 장면은 어디야
- 이 경기에서 10번 선수가 넘어진 장면을 전부 찾아줘
다만 시점을 정확히 구분해야 한다. Ask YouTube 적용은 아직 시행이 아니다. 구글은 “향후 수개월 내”라고만 밝혔다. 지금 당장 유튜브 앱에 링크를 넣는다고 되는 기능이 아니다. 현재 실제로 쓸 수 있는 건 개발자용 API다.
기존 1FPS 방식과 무엇이 다른가
차이를 이해하려면 기존 방식을 먼저 봐야 한다. Gemini의 기본 처리 방식은 Static이다. 영상을 초당 1장(1 FPS)씩 프레임으로 잘라 한꺼번에 읽는다. API 문서가 명시한 기본값이다.
문제는 긴 영상이다. 1시간짜리 영상에서 궁금한 내용이 20초뿐이어도, Static은 나머지 대부분까지 프레임으로 만들어 처리한다. 반대로 프레임 간격을 넓히면 비용은 줄지만 짧게 스치는 화면, 빠른 동작, 편집 컷을 놓칠 수 있다.
Agentic 방식은 순서 자체가 다르다. 질문을 먼저 이해한 뒤, 영상의 어느 구간을 볼지, 어떤 속도로 볼지, 프레임·오디오·자막 중 무엇이 필요한지를 스스로 정한다. 그리고 필요한 부분만 불러온다. 구글은 이 반복 과정을 에이전틱 루프라고 부른다.
Agentic 처리 흐름
질문 이해 → 어느 구간을 볼지 탐색 → 자막·오디오·프레임 중 필요한 것 판단 → 해당 구간 로드 → 부족하면 다시 탐색 → 필요한 구간은 더 높은 FPS로 재검사 → 답변
단순 영상 판독 모델이 영상 조사 에이전트로 바뀐 셈이다. 구글은 이 방식이 이미지에 적용됐던 agentic vision과 성격이 비슷하다고 설명한다. 이미지를 확대·크롭하며 다시 보던 방식을, 시간축이 있는 영상으로 확장한 것으로 볼 수 있다.
토큰은 88% 줄었는데 비용은 왜 66%만 줄었나
구글 발표 수치는 세 개다. 토큰 사용량 최대 88% 감소, 분석 비용 최대 66% 감소, 정확도 최대 약 7% 향상. 대부분의 기사는 이 숫자를 그대로 나열하고 끝난다. 그런데 88%와 66%가 다른 이유를 알면 이 기능의 성격이 더 분명해진다.
Gemini API 토큰 문서를 보면 Agentic 모드의 토큰은 두 갈래로 나뉜다. 하나는 어디를 볼지 판단하는 탐색 추론 토큰, 다른 하나는 실제로 불러온 프레임·오디오·자막 토큰이다. 즉 입력 영상 자체는 크게 줄지만, 어디를 볼지 판단하는 계산이 새로 더해진다.
그래서 입력 토큰 감소율과 전체 비용 감소율이 같을 이유가 없다. 이건 추정이 아니라 구글 API 문서가 과금 구조로 명시한 내용이다. 88%는 얼마나 덜 읽었는지, 66%는 그 판단 비용까지 포함한 실제 절감이라고 이해하면 된다.
덜 보는데 정확도는 왜 올라가나
덜 보면 정확도가 떨어질 것 같지만, 결과는 반대였다. 이유는 중요한 부분을 더 자세히 볼 수 있기 때문이다.
30분짜리 축구 영상에서 “골키퍼가 공을 놓친 순간 직전에 수비수와 충돌했는가”를 묻는다고 하자. 기존 1 FPS 방식은 결정적인 0.3초를 통째로 건너뛸 수 있다. Agentic은 골 장면을 찾아 그 전후를 확인하고, 필요하면 FPS를 높여 빠른 동작을 다시 본다.
구글이 제시한 용도도 정확히 이 방향이다. 0.1초 단위 순간 찾기, 긴 영상 속 특정 정보 탐색, 이상 장면 탐지, 행동·물체 횟수 세기. 모든 장면을 얕게 보는 대신, 필요한 장면을 깊게 보는 방식이다.
짧은 영상이라면 오히려 Static이 나을 수 있다
이 부분이 다른 기사에서 빠지기 쉽다. Agentic이 무조건 좋은 건 아니다. 구글 개발자 문서는 5분 미만의 짧은 영상에서 첫 응답 속도가 중요하면 Static이 더 빠를 수 있다고 명시한다.
Agentic에는 “어디를 볼까, 무엇을 불러올까, 다시 볼까”를 판단하는 단계가 먼저 들어간다. 이 내부 탐색 때문에 짧은 영상에서는 답이 나오기 시작하는 시점이 오히려 늦어질 수 있다. 정리하면 이렇다.
| 상황 | 유리한 방식 |
|---|---|
| 수십 초~수 분짜리 짧은 영상 | Static |
| 모든 프레임을 빠짐없이 봐야 할 때 | Static 고려 |
| 10분 이상 긴 영상 | Agentic |
| 긴 영상에서 특정 순간 찾기 | Agentic |
| 긴 강의·회의 영상 질문 | Agentic |
| 빠른 움직임 재검사 | Agentic |
구글도 “일단 Agentic으로 시작하되, 5분 미만 짧은 영상이나 첫 응답 속도가 중요한 경우엔 Static”을 권장 기준으로 제시한다.
지금 어디까지 되고, 무엇이 아직인가
“이제 유튜브 링크만 넣으면 토큰 88% 절약” 같은 표현은 아직 맞지 않다. API에서는 지금 쓸 수 있지만, 일반 앱과 유튜브 적용은 미래 시점이다. 이 구분이 이 글에서 가장 중요하다.
| 경로 | 상태 |
|---|---|
| Gemini API / Google AI Studio | 지금 사용 가능 |
| Gemini Enterprise Agent Platform | 지금 사용 가능 |
| 업로드 영상 · 공개 유튜브 영상 입력 | 지원 (유튜브 URL은 Preview) |
| Gemini 일반 앱 (Flash·Flash-Lite) | 향후 순차 적용 예정 |
| 유튜브 Ask YouTube | 향후 수개월 내 적용 예정 |
지원 모델은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 가지다. 구글은 이 중 3.7 Flash가 품질과 비용 효율의 균형점에 있다고 설명한다. 별도 기능 이용료는 없고 표준 API 토큰 과금을 그대로 쓴다. 유튜브 URL 입력은 현재 무료로 제공되는 Preview 단계이며, 무료 등급은 하루 8시간까지로 제한된다.
이 기술의 한계
장점만 보면 안 된다. 네 가지 한계를 함께 봐야 한다.
첫째, 88%는 보장 수치가 아니다. 질문이 영상 전체를 세밀히 검사하라고 요구하면 절감폭이 작아질 수 있다. 둘째, 짧은 영상에서는 내부 탐색 때문에 첫 답변이 오히려 느려질 수 있다. 셋째, 관련 장면을 잘못 좁히면 중요한 정보를 아예 보지 않을 가능성이 이론적으로 존재한다. 넷째, 최대 개선 수치의 주된 근거는 구글 자체 평가다. 독립적인 대규모 재현 결과가 충분히 쌓였다고 보기엔 아직 이르다.
Hoony가 본 이번 변화의 무게
개인 사용자 관점에서 가장 흥미로운 건 유튜브다. 지금 유튜브 검색은 영상을 찾아주는 데서 끝난다. 에이전틱 비디오 이후에는 검색이 영상 안쪽의 특정 순간까지 내려갈 수 있다.
기존 영상 AI가 “무슨 내용인가”에 강했다면, 이번 변화는 “정확히 언제 일어났는가”로 접근하고 있다. 영상 편집 자동화, 스포츠 분석, CCTV 검사처럼 “그 순간”이 중요한 분야에 특히 의미가 크다. 88%라는 숫자보다, 영상을 다루는 질문의 방식이 바뀐다는 점이 더 큰 변화라고 본다.
자주 묻는 질문
지금 Gemini 앱에서 유튜브 링크를 넣으면 88% 절약되나요?
아직 아니다. 현재 사용 가능한 건 개발자용 API(Google AI Studio·Enterprise Agent Platform)다. 일반 Gemini 앱 확대는 “곧”, 유튜브 Ask YouTube 적용은 “향후 수개월 내”로 발표됐다.
어떤 모델에서 쓸 수 있나요?
Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite 세 모델이다. 다른 모델은 기존 Static 처리만 지원한다.
88%는 모든 영상에 적용되나요?
아니다. “최대” 수치이고 구글 자체 벤치마크 기준이다. 긴 영상에서 효과가 두드러지며, 질문이 영상 전체를 세밀히 봐야 하는 경우엔 절감폭이 줄어든다.
짧은 영상에도 Agentic이 더 좋나요?
꼭 그렇지 않다. 5분 미만 영상이거나 첫 응답 속도가 중요하면 Static이 더 빠를 수 있다고 구글 문서가 안내한다.
이 글의 수치와 기능 상태는 발행 시점 기준입니다. 구글은 모델과 적용 범위를 빠르게 바꾸고 있으니, 실제 도입 전에는 아래 공식 문서에서 최신 상태를 다시 확인해 보시기 바랍니다. 사용해 보신 경험이 있다면 댓글로 공유해 주세요.
참고자료 (공식 원문)
· 구글 공식 발표: Introducing agentic video understanding with Gemini (blog.google, 2026-09-01)
· Gemini API 동영상 이해 문서: ai.google.dev/gemini-api/docs/video-understanding
