ChatGPT부터 런웨이, 미드저니 등 최근 생성형 AI의 바람이 불고 있습니다. 이제는 콘텐츠 제작에 점점 빠질 수 없는 툴로 인공지능이 한몫하고 있는데요. 이번에는 우리에게 익숙한 어도비 프리미어 프로의 새로운 AI를 살펴보도록 하겠습니다. 이미 아마추어부터 프로페셔널까지 널리 사용되며 영상 편집 툴로 잘 알려진 프리미어 프로의 경우 다른 생성형 AI 툴과는 좀 다른 길로 가고 있는데, 확실히 실 유저가 많다 보니 결과물을 실전에 사용할 수 있게 하는 모습을 보이는 것 같습니다.
빠르면 2024년 말까지 업데이트될 프리미어 프로의 새로운 AI 기능들을 살펴보고 그중 프리미어 프로 베타 버전에서 먼저 선보이고 있는 기능과 사용법을 테스트해 보도록 하겠습니다.
개체 추가 기능
실제 영상 제작을 하다 보면 촬영 시 부족한 소품 등이 생기기 마련이고, 편집을 하면서 좀 다른 느낌이었으면 하는 생각이 들 때가 있습니다. 다만 재촬영을 해야 하거나 이조차 불가능한 경우도 있어 현실 타협을 하기도 합니다. 하지만 어도비 프리미어 프로만 있다면 앞으로 그런 아쉬움은 사라질 것 같네요.
촬영된 영상 클립을 보다 보니 가방 안에 보석이 부족해 보입니다. 아무래도 현장에서 소품 수량 준비가 미흡했나 본데요. 이런 경우 내용물을 좀 더 추가할 수 있습니다.
‘Add Object’ 버튼을 눌러준 후 영역을 지정하고 ‘Adobe Firefly’ 모델을 선택한 뒤 프롬프터를 입력해 줍니다. 바이올렛 천 위에 더 많은 다이아몬드 조각이라고 써주었습니다.
가방 안에 동일한 다이아몬드가 가득 채워졌으며, 이뿐 아니라 3가지 옵션이 나와 다른 종류의 다이아몬드를 선택할 수도 있습니다.
자, 이렇게 촬영 때 부족했던 다이아몬드 소품들이 가득한 모습인데 단순히 한 장의 이미지가 아니라 카메라 움직임에 따라 다양한 각도에서 보이는 영상이 만들어진 것입니다.
오브젝트 리무버
영상 스토리에 딱 맞게 만들어진 세트장이 아니라면 대부분 배경이 되는 장소에 필요 없는 피사체가 있을 것입니다. 특히 벽에 붙어 있는 불필요한 광고 전단이나 물건 혹은 사람도 마찬가지인데요. 기존에는 블러나 모자이크를 사용하기도 했지만 그렇게 하지 못한 경우 어쩔 수 없이 촬영 장소를 바꿔야 하거나 큰 비용을 들여 CG 처리를 해야 했습니다. 하지만 오브젝트 리무버를 사용하게 된다면 어떨까요?
프리미어 프로의 AI 툴 중 하나인 오브젝트 리무버 툴은 포토샵의 그것과 비슷하게 생겼지만 이건 움직이는 영상에서 작동이 되는 참 신기한 툴입니다.
이 툴을 작동시키면 영상 내의 다양한 오브젝트를 한 번에 선택할 수 있습니다. 위와 같이 사람을 선택하거나 배경 벽에 필요 없는 오브젝트를 선택할 수 있습니다. 복잡한 형상이라고 해도 자동으로 잡아주는 건 포토샵에서의 그것과 동일합니다.
원래는 있었던 벽의 파이프와 연결된 물체가 순식간에 사라진 것을 볼 수 있습니다.
영상의 다른 장면도 전후를 살펴보면 기존 배경과 이질감이 거의 없을 정도입니다. 영상 제작에 정말 유용할 느낌입니다.
사실 오브젝트 리무버는 오브젝트를 사라지게 하고 배경으로 채울 뿐만 아니라 다른 물체로 바꾸거나 추가도 하기 때문에 위와 같이 차고 있는 시계를 바꾸거나 의상을 부분적으로 바꾸는 것까지도 가능합니다. 이 정도면 정말 못할 것이 없겠습니다. 단순히 전체 영상을 생성하는 것이 아닌 이렇게 실제 촬영한 영상의 일부를 자연스럽게 변경 수정할 수 있는 기능은 정말 유용해 보입니다.
영상 클립 확장
영상을 편집하다 보면 짧게는 몇 프레임에서 몇 초 정도로 영상이 부족한 경우가 있습니다. 영상의 속도를 아주 살짝 느리게 하여 맞추거나 다른 영상을 추가하는 경우도 있지만 매우 아쉬운 부분이죠. 하지만 촬영도 하지 못한 영상의 일부분을 채워주는 확장 기능이 있습니다.
확장 AI 툴을 이용하여 영상 클립이 모자란 부분의 앞이나 뒷부분을 그냥 늘려주시면 됩니다.
위와 같이 분석 생성하는 시간이 좀 걸리지만 생각보다 짧은 시간에 완성이 됩니다. 현재로서는 프리미어 프로 베타에서 사용 가능하며 FHD 8비트 SDR, 2초, 16:9 비율까지만 생성됩니다. 프리미어 프로 베타 버전은 어도비 사용자라면 누구든 추가로 설치 가능합니다.
또한 영상 중간에 들어가는 인서트 클립의 경우도 편집에서 스토리를 이어가다 보면 더 필요한 상황이 발생하는데요. 이럴 때 바로 서드파티의 생성형 AI를 활용하여 바로 프리미어 프로 내에서 추가할 수 있는 기능도 있습니다. 위와 같이 Open AI를 선택하고 필요한 타임라인을 지정한 뒤 프롬프터를 넣으면 생성된 영상 3개가 나오고 이중 선택하여 넣을 수 있습니다.
위와 같이 타임라인상 동일한 위치에 ‘비 오는 날 밤의 도심 스카이라인’이나 드라이빙 하는 모습 등을 넣어 볼 수 있습니다. 별도의 생성형 AI에서 만들고 편집 툴로 끌어와 그 분위기를 보는 것과 이렇게 바로 작업이 가능한 영상은 큰 차이를 보일 것입니다.
위와 같이 프리미어 프로에 곧 추가될 생성형 AI 기능을 알아보았는데요. 그중에 현재 베타판에서 실제로 사용할 수 있는 기능인 영상 클립 확장 기능으로 실제 영상을 만들어 보겠습니다.
다양한 4개의 영상 샘플을 준비해 보았는데요. 모두 Full HD 해상도의 영상입니다.
타임라인 툴 중 가장 아랫부분에 있는 것이 영상 클립을 확장해 주는 툴인데요. 이 툴을 선택한 후 영상의 끝부분에 해당하는 앞이나 뒤에서 원하는 만큼 늘려주면 바로 확장이 됩니다. 최대 2초까지 되며 길수록 생성 시간이 더 오래 걸리게 됩니다.
위와 같이 생성되는 데 시간이 다소 걸리므로 기다리는 것이 좋습니다. 동시에 여러 클립 확장도 되지만 아직 베타판이라 그런지 여러 가지를 동시에 실행하는 경우 에러가 발생하기도 하니 하나씩 해주는 것이 경험상 더 좋습니다.
위 영상은 영상의 앞부분을 더 확장한 것인데 타임라인상 위 영상이 원본, 아래 영상이 확장 본입니다. 확장한 영상 앞부분의 2초를 보면 이미 있는 영상 내 발자국과 카메라 이동을 분석하여 새로운 영상이 만들어진 것을 볼 수 있습니다.
이번 영상은 타자기를 치는 영상을 좌에서 우로 슬라이딩 무빙을 주면서 촬영한 클립인데 영상의 뒤 2초를 확장시키니 영상 내에서는 나오지도 않은 파란 스탠드의 뒷부분을 예상하여 디자인해 준 것이 정말 신기할 따름입니다.
이 영상은 황야 배경에 카메라를 들고 걸어가는, 약간은 불규칙한 움직임입니다. 스트랩에 매달린 카메라도 앞뒤로 흔들리기 때문에 카메라 형상들을 새롭게 생성하기 어려울 것 같아 테스트 영상으로 골라보았는데 생각 이상으로 잘 만들어주는 모습입니다.
다음은 위와 같이 작은 골대를 마크하는 골키퍼 영상입니다. 전체 영상을 봐도 대부분이 공과 골대 중심으로 나왔지만 확장 생성된 영상을 보면 아래와 같이 전혀 다른 영상을 정말 잘 생성시킨 것을 볼 수 있습니다.
골을 넣고 좋아하는 장면까지 원본이지만 생성된 영상을 보면 골키퍼가 기운 빠진 듯 골대 옆으로 걷는 영상까지 만들어진 것을 볼 수 있어 놀라울 정도입니다.
기존의 생성형 AI가 단순한 한 장의 이미지나 단편 영상 클립을 만드는데 사용되고 있다면, 어도비의 프리미어 프로는 기존 촬영 영상에 일부를 추가하거나 삭제하는 등의 변형을 중심으로 훨씬 이질감 없는 결과물을 보여주고 있습니다. 덕분에 개인뿐만 아니라 상업적으로도 바로 사용할 수 있는 기능들로 좀 더 완성도 높은 모습을 보여주고 있는데요. 앞서 소개한 기능들도 곧 정식판에 적용될 예정이라고 합니다. 기존에 비싼 비용을 치러야 할 CG 작업을 조금 더 빠르고 손쉽게 할 수 있게 되니 영상 콘텐츠를 제작하는 분들에게는 큰 기쁜 소식이 되지 않을까 싶습니다.
본 콘텐츠는 저작권에 의해 보호됩니다. 복제, 배포, 수정 또는 상업적 이용은 소유자의 허가 없이 금지됩니다.
