사람이 한 걸음 다가와 손을 뻗는 짧은 장면을 원하는데, 텍스트만으로 자세와 타이밍을 맞추기 어렵다면 출발점을 바꿔 볼 수 있다. 원하는 동작을 직접 촬영한 뒤 그 영상을 변환의 기준으로 사용하는 것이다. 이때 중요한 것은 새로운 화면의 화려함과 원본 움직임의 보존 사이에서 어디에 우선순위를 둘지 정하는 일이다.
Luma의 Dream Machine은 영상 제작 서비스이고, Ray는 모델 계열이다. 이 글의 대상인 Ray3 Modify는 기존 영상과 참조 자료를 이용하는 변환 작업이다. Ray3 소개 페이지에 나오는 생성 모델의 사양을 Modify 전체에 그대로 적용해서는 안 된다. Ray3 제품 소개
아래 설명은 2026년 10월 4일 확인한 Ray3 Modify 공식 가이드와 FAQ에 근거한다. 촬영 구성과 프롬프트는 편집팀의 활용 제안이며, 원본 연기가 완벽하게 보존된다는 실험 결과를 제시하는 글은 아니다.
원본 동작과 배경 변환의 관계를 표현한 AI 생성 설명 이미지입니다. Ray3 Modify의 실제 전후 결과 비교가 아닙니다.
새로 생성할 것과 유지할 것을 나눠 적는다
텍스트 투 비디오에서 장면 전체를 설명했다면, 기존 영상 수정에서는 바꿀 요소와 남길 요소를 구분해야 한다. “더 영화처럼 만들어 줘”라는 요청만으로는 의상, 얼굴, 배경, 카메라가 어디까지 달라져도 되는지 알 수 없다.
| 구분 | 스튜디오 장면의 예 | 검토 기준 |
|---|---|---|
| 유지할 것 | 사람이 손을 뻗는 순서와 타이밍 | 동작의 시작·정점·끝이 맞는가 |
| 유지할 것 | 카메라 구도, 인물의 화면 내 크기 | 갑작스러운 확대나 시점 변화가 없는가 |
| 바꿀 것 | 회색 배경을 해 질 무렵 사막으로 | 인물과 배경의 공간 관계가 자연스러운가 |
| 조정할 것 | 배경에 어울리는 조명과 색감 | 얼굴과 옷의 디테일이 유지되는가 |
이 목록은 불변 조건을 기술적으로 보장하지 않는다. 대신 결과가 목표에 맞는지 판단할 기준을 만든다. 변형을 허용할 범위가 넓은 뮤직비디오 시안과 실제 인물의 표정이 중요한 장면은 같은 기준으로 평가하기 어렵다.
입력 영상은 짧고 읽기 쉬운 동작부터 준비한다
첫 실습은 고정 카메라와 한 가지 행동으로 시작하는 편이 좋다. 손을 뻗고 잠시 멈추는 장면이라면 움직임의 순서가 명확해 결과 비교가 쉽다. 화면 밖으로 나갔다 들어오거나 다른 사람에게 가려지는 동작은 처음부터 더 많은 검토가 필요하다.
촬영이 가능하다면 인물이 배경과 구분되도록 하고, 손이나 얼굴이 심하게 흐려지지 않는 구간을 고른다. 이는 특정 장비를 요구하는 조건이 아니라 원본에서 확인 가능한 정보를 늘리기 위한 제작 팁이다.
Ray3 Modify FAQ는 입력 영상의 한도를 10초·100MB로 안내하고, 원본 오디오를 보존한다고 설명한다. 사용할 계정의 접근성과 현재 설정도 시작 전에 확인한다. 긴 영상이라면 먼저 작업할 짧은 구간을 정하는 것이 좋다. 공식 FAQ
Modify에서 변환 강도를 조절한다
Dream Machine의 Modify에서 입력 영상을 올리고 변환 내용을 정한다. 필요에 따라 캐릭터 참조 이미지를 추가하거나 키프레임을 수정한 뒤 Modify strength를 조절한다.
공식 가이드에서 Adhere 쪽은 원본의 윤곽과 디테일을 더 강하게 따르는 방향이며, Reimagine 쪽은 자유로운 재해석을 허용하는 방향이다. 강도를 높일수록 무조건 품질이 좋아지는 설정으로 이해하면 안 된다. Ray3 Modify 사용 가이드
배경 변경을 시험할 때는 다음과 같이 목표를 적을 수 있다.
회색 스튜디오 배경을 해 질 무렵의 바위 사막으로 바꾼다.
인물의 손을 뻗는 동작과 타이밍, 카메라 구도는 원본을 따른다.
파란 재킷의 형태와 인물의 화면 내 위치를 유지한다.
인물에 닿는 빛은 배경의 낮은 태양 방향과 어울리게 조정한다.처음에는 원본 보존에 무게를 두고 시도한 뒤 변화가 부족하면 강도를 조금씩 조절한다. 반대로 인물과 카메라까지 과하게 바뀌면 강도를 낮추거나 한 번에 바꾸는 항목을 줄여 본다. 각 설정의 결과를 남겨야 어느 지점에서 원본이 흔들리기 시작했는지 알 수 있다.
키프레임과 캐릭터 참조는 필요할 때 추가한다
공식 가이드는 입력 영상에 시작·끝 키프레임과 캐릭터 참조를 결합하는 방법도 설명한다. 참조 이미지를 올린 뒤 키프레임 카드를 눌러 편집기를 열고, Use character를 켜고 프레임별 수정 지시를 입력한다. 필요한 프레임 수정을 마치면 변환 강도를 정해 영상을 생성한다.
주의할 점은 해당 가이드의 End frame 설명이다. 5초를 넘는 입력에서는 마지막 카드가 실제 영상 끝이 아니라 0:05 프레임을 사용한다고 명시돼 있다. 변환 자체는 전체 영상에 적용된다. 따라서 10초짜리 입력에서 마지막 순간의 구도까지 지정했다고 가정해서는 안 된다. 키프레임 동작 안내
이 차이는 제작 계획에 영향을 준다. 반드시 원하는 포즈로 끝나야 한다면 원본 구간을 다시 고르거나, 결과의 끝부분을 편집할 여유를 두는 식으로 설계할 수 있다. 화면에 표시된 프레임이 실제 어느 시점인지 확인하는 습관이 중요하다.
참조 자료도 목적에 맞춰 추가한다. 배경만 바꾸는 시험이라면 인물 외형까지 교체하는 복잡한 구성을 먼저 만들 필요는 없다. 캐릭터를 바꾸는 작업과 원래 인물을 유지하는 작업은 별도로 비교해야 한다.
원본과 결과를 같은 시점에서 대조한다
완성 결과를 단독으로 보면 멋있어도 원본의 연기와 달라졌다는 사실을 놓칠 수 있다. 손이 가장 멀리 뻗는 순간, 시선이 바뀌는 순간, 몸이 멈추는 순간을 기준으로 비교한다.
검토 항목은 동작의 타이밍, 얼굴과 의상의 연속성, 발과 바닥의 접촉, 배경의 흔들림이다. 배경이 인물 뒤에서 미끄러지는 것처럼 보이거나 손 주변에 경계가 일렁이면 정상 속도로도 확인한다. 프레임 하나의 완성도와 재생 중의 자연스러움은 다를 수 있다.
오디오 역시 별도 문제다. 원본 소리가 보존된다면 사막 장면으로 바뀌어도 스튜디오의 잔향이나 주변 소음은 남을 수 있다. 화면의 장소를 바꾸는 작업에서는 음향을 유지할지 다시 구성할지 함께 결정해야 한다.
원본의 특정 부분만 정확히 보존해야 하는 납품 작업이라면 AI 변환과 일반 합성 작업의 결과·수정 비용을 비교해 보자. 어느 방식이 더 낫다는 결론보다 허용할 수 있는 변화의 범위가 선택 기준이다. 다른 제작 방식은 AI 영상 도구 비교에서 확인할 수 있다.
자주 묻는 질문
Ray3 생성과 Ray3 Modify는 같은 작업인가?
이 글의 Modify는 기존 영상을 변환하는 작업이다. 새 클립 생성의 사양이나 다른 Ray 버전의 기능을 그대로 가져와 해석하지 않는다.
Reimagine을 높이면 항상 더 좋은 영상이 나오나?
더 큰 재해석을 허용하는 방향이다. 원본의 연기와 구도를 얼마나 유지해야 하는지에 맞춰 결과를 비교한다.
영상의 배경을 바꾸면 소리도 새 장소에 맞춰 바뀌나?
공식 FAQ는 원본 오디오 보존을 안내한다. 새로운 장소의 소리가 필요하면 후반 음향 작업을 별도로 계획한다.
긴 영상을 통째로 바꾸는 데 쓸 수 있나?
이 글에서 확인한 입력 한도는 짧은 클립 기준이다. 먼저 필요한 구간을 나누고 컷 사이 인물·조명·배경이 이어지는지 검토해야 한다.
한눈에 정리
- 기존 영상을 사용할 때는 바꿀 요소와 유지할 요소를 먼저 구분한다.
- 한 가지 행동이 잘 보이는 짧은 입력으로 시작한다.
- 변환 강도는 원본 보존과 재해석 사이의 조절값으로 이해한다.
- 키프레임 카드가 가리키는 실제 시점을 확인한다.
- 결과는 원본과 같은 시점에서 비교하고 음향도 따로 검토한다.