Research & Development Log

[논문 조사] Audio 2개를 mixing하거나, 이어붙이거나, 중첩시켜서 input으로 사용하는 생성모델 논문 조사

2023-08-28 1 분 소요

아래와 같이 세 가지 모델들을 찾아봤는데, 여러 오디오가 중첩된 비디오에서 오디오를 분리하는 과정(Audio separation)의 역과정에 대한 논문, 즉, Audio separation의 역과정인 분리된 오디오로 여러 오디오가 중첩된 비디오로 생성하는 모델은 현재까지 찾아본 바...

[논문 조사] Video generation에서 Depth 사용하는 논문 조사

2023-08-21 3 분 소요

1. [ICLR 2023] PV3D: A 3D Generative Model for Portrait Video Generation

[코드 실행] Dreambooth 코드 실행 (현재 메모리가 부족하여 중단됨)

2023-08-18 2 분 소요

DreamBooth: https://dreambooth.github.io/

[논문 조사] Dreambooth와 같이 Subject를 유지하면서 Video 생성하는 논문 있는지 조사

2023-08-08 최대 1 분 소요

1. Dreambooth 구조 ⇒ for customizing

[코드 실행] Multi-Concept Customization of Text-to-Image Diffusion 코드 실행 (메모리 부족 => 보류)

2023-08-07 1 분 소요

https://github.com/adobe-research/custom-diffusion

[코드 실행] text-to-audio 모델 AudioLDM으로 실험하기

2023-08-04 최대 1 분 소요

내용: video dataset 조사한 것 중에 하나 선택해서 video caption을 input으로 했을 때 audio 결과가 어떤지 audioldm 모델로 결과 뽑고, video(caption에 해당하는)랑 audio(audioldm모델로 뽑은 결과) 를 합쳤을 때 두개...