의식의 흐름) AI를 3D작업에 어떻게 활용할 수 있을까

우선은 현재 로컬환경에서 사용가능한 ai만 활용한다고 했을 경우,

이미지 -> 360도 영상 제작 -> 프레임별로 추출 -> 해당 프레임들을 multi view 3d 모델 생성 ai에 넣고 돌리기

같은 공정이 제일 현실성 있을 것 같다.

 

이미지같은 경우에는 일관성을 위해 그림체 lora등을 활용한다던지 해서 제작할 수 있을 것 같고

영상은 wan이라는 모델을 쓰면 360도 영상을 만들 수 있다고 한다 (영상 모델은 아직 안 써봤다)

comfyui를 이용해서 위 공정을 하나의 워크플로우 안에 다 넣을 수도 있을 것 같다.

다만 이미지가 마음에 들게 뽑힐지가 너무 랜덤이기 때문에 확인 후 영상->3d 작업으로 넘어가도 좋을 것 같다.

 

한계라고 하면 아무래도 hunyuan3d의 퀄리티가 아직 막 그렇게 좋지는 못하고, uv같은 경우도 문제가 꽤 있기때문에

zbrush로 넘어가기 위한 더미 정도를 만드는 선에서 만족해야 할 듯 하다.

hunyuan 3d 공정 안에 이미지 누끼를 따는 부분이 있어서, 실루엣은 정확하게 잘 잡아주는 느낌이었다.

(웹상에서 서비스하는 다른 유료 3d ai들을 써봤을때도 웬만하면 실루엣은 다 비슷하게 잘 뽑아줬던 것 같다. 그대로 zbrush 들어가서 스컬핑했더니 빠르게 끝났었다)

 

우선 comfyui에서 hunyuan을 써 보려고 했는데

comfyui 안에 들어있는 python 버전이, 뭔가 hunyuan을 돌릴 때 필요한 추가적인 패키지(whl?)랑 맞지가 않아서

설치하는 데 애를 좀 먹었다.

생성된 모델에 텍스쳐를 발라주는 단계에서 자꾸 에러가 뜬다... (아직도 해결 안됨 😭 😭 😭 )

 

바로 인게임에 적용할 수 있는 수준이 되면 어떤 모습일까 궁금하다.

 

요즘 자동화에 관심이 굉장히 많고, 점점 재미를 느끼고 있어서 최근에는 언리얼 editor utility blueprint를 만져보고 있는데

좀 더 파다보면 분명 플러그인을 만지고 있을 것 같다 (ㅋㅋ)

AI 성능도 더 좋아지면 언젠가 재밌는 걸 만들게 되지 않을까... 하는 기대를 해본다