В нова статия Point-E: Система за генериране на 3D облаци от точки от сложни сигнали, изследователският екип на OpenAI представя Point E, система за условен синтез на текст в 3D облак от точки, която използва дифузионни модели за създаване на разнообразни и сложни 3D форми, управлявани от сложен текст реплики.за минути на един GPU.
Удивителната производителност на днешните най-съвременни модели за генериране на изображения стимулира изследванията в генерирането на 3D текстови обекти.Въпреки това, за разлика от 2D моделите, които могат да генерират изход за минути или дори секунди, моделите за генериране на обекти обикновено изискват няколко часа GPU работа, за да генерират единична проба.
В нова статия Point-E: Система за генериране на 3D облаци от точки от сложни сигнали, изследователският екип на OpenAI представя Point·E, система за текстов условен синтез за 3D облаци от точки.Този нов подход използва модел на разпространение за създаване на разнообразни и сложни 3D форми от сложни текстови сигнали само за минута или две на един GPU.
Екипът се фокусира върху предизвикателството да конвертира текст в 3D, което е от решаващо значение за демократизирането на създаването на 3D съдържание за приложения от реалния свят, вариращи от виртуална реалност и игри до индустриален дизайн.Съществуващите методи за конвертиране на текст в 3D попадат в две категории, всяка от които има своите недостатъци: 1) генеративните модели могат да се използват за ефективно генериране на проби, но не могат да мащабират ефективно за различни и сложни текстови сигнали;2) предварително обучен модел текст-изображение за обработка на сложни и разнообразни текстови знаци, но този подход изисква изчисления и моделът може лесно да заседне в локални минимуми, които не съответстват на смислени или кохерентни 3D обекти.
Ето защо екипът проучи алтернативен подход, който има за цел да комбинира силните страни на горните два подхода, използвайки модел на дифузия текст към изображение, обучен върху голям набор от двойки текст-изображение (което му позволява да обработва разнообразни и сложни сигнали) и модел на разпространение на 3D изображение, обучен върху по-малък набор от двойки текст-изображение.набор от данни за двойка изображение-3D.Моделът от текст към изображение първо взема проби от входното изображение, за да създаде единично синтетично представяне, а моделът от изображение към 3D създава 3D облак от точки въз основа на избраното изображение.
Генеративният стек на командата се основава на наскоро предложени генеративни рамки за условно генериране на изображения от текст (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Те използват модел GLIDE с 3 милиарда параметри GLIDE (Nichol et al., 2021), фино настроен върху изобразени 3D модели, като техен модел за трансформация на текст към изображение и набор от дифузионни модели, които генерират RGB облаци от точки като техни трансформационен модел.изображения към изображение.3D модели.
Докато предишната работа използваше 3D архитектури за обработка на облаци от точки, изследователите използваха прост модел, базиран на преобразувател (Vaswani et al., 2017), за да подобрят ефективността.В тяхната архитектура на дифузионен модел изображенията на облака от точки първо се подават в предварително обучен ViT-L/14 CLIP модел и след това изходните мрежи се подават в конвертора като маркери.
В своето емпирично проучване екипът сравнява предложения метод Point·E с други генеративни 3D модели за оценяване на сигнали от COCO обекти за откриване, сегментиране и набори от данни за подписи.Резултатите потвърждават, че Point·E е в състояние да генерира разнообразни и сложни 3D форми от сложни текстови сигнали и да ускори времето за извод с един до два порядъка.Екипът се надява, че работата им ще вдъхнови по-нататъшни изследвания на синтеза на 3D текст.
Предварително обучен модел на разпространение на облак от точки и код за оценка са налични в GitHub на проекта.Document Point-E: Система за създаване на 3D облаци от точки от сложни улики е на arXiv.
Знаем, че не искате да пропуснете никакви новини или научни открития.Абонирайте се за нашия популярен бюлетин Synced Global AI Weekly, за да получавате седмични актуализации за AI.
Време на публикуване: 28 декември 2022 г