In airteagal nua Point-E: Córas chun scamaill pointe 3D a ghiniúint ó chomharthaí casta, tugann foireann taighde OpenAI isteach Pointe E, córas sintéise coinníollach téacs scamall pointe 3D a úsáideann samhlacha idirleata chun cruthanna 3D éagsúla agus casta a chruthú atá tiomáinte ag téacs casta. Leideanna.i nóiméid ar GPU amháin.
Tá feidhmíocht iontach samhlacha giniúna íomhá úrscothacha an lae inniu tar éis taighde a spreagadh i nginiúint rudaí téacs 3D.Mar sin féin, murab ionann agus samhlacha 2D, ar féidir leo aschur a ghiniúint i nóiméid nó fiú soicind, de ghnáth bíonn roinnt uaireanta oibre GPU ag teastáil ó shamhlacha oibiachtúla chun sampla amháin a ghiniúint.
In alt nua Pointe-E: Córas chun scamaill phointe 3D a ghiniúint ó chomharthaí casta, cuireann foireann taighde OpenAI Point·E i láthair, córas sintéise coinníollach téacsúil do scamaill phointe 3D.Úsáideann an cur chuige nua seo samhail iomadúcháin chun cruthanna 3D éagsúla agus casta a chruthú ó chomharthaí casta téacs i nóiméad nó dhó ar GPU amháin.
Tá an fhoireann dírithe ar an dúshlán a bhaineann le téacs a thiontú go 3D, rud atá ríthábhachtach chun cruthú ábhar 3D a dhaonlathas d’fheidhmchláir fhíorshaoil ó réaltacht fhíorúil agus cearrbhachas go dearadh tionsclaíoch.Titeann na modhanna atá ann faoi láthair chun téacs a thiontú go 3D in dhá chatagóir, agus tá a míbhuntáistí ag gach ceann acu: 1) is féidir samhlacha giniúna a úsáid chun samplaí a ghiniúint go héifeachtach, ach ní féidir scála éifeachtach a dhéanamh le haghaidh comharthaí téacs éagsúla agus casta;2) múnla íomhá téacs réamh-oilte chun leideanna casta agus éagsúla téacs a láimhseáil, ach tá an cur chuige seo dian ó thaobh ríomha de agus is furasta an tsamhail dul i bhfostú i minima áitiúil nach gcomhfhreagraíonn do réada 3D brí nó comhleanúnach.
Mar sin, rinne an fhoireann iniúchadh ar chur chuige eile a bhfuil sé mar aidhm aige láidreachtaí an dá chur chuige thuas a chur le chéile, ag baint úsáide as samhail idirleathadh téacs-go-íomhá atá oilte ar shraith mhór péirí téacs-íomhá (a ligeann dó comharthaí éagsúla agus casta a láimhseáil) agus samhail idirleata íomhá 3D oilte ar shraith níos lú de phéirí téacs-íomhá.tacar sonraí péire íomhá-3D.Samplaíonn an tsamhail téacs-go-íomhá an íomhá ionchuir ar dtús chun léiriú sintéiseach amháin a chruthú, agus cruthaíonn an tsamhail íomhá-go-3D scamall pointe 3D bunaithe ar an íomhá roghnaithe.
Tá stack giniúna an ordaithe bunaithe ar chreataí giniúna a moladh le déanaí chun íomhánna ó théacs a ghiniúint go coinníollach (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Úsáideann siad múnla GLIDE le paraiméadair 3 billiún GLIDE (Nichol et al., 2021), mionchoigeartaithe ar shamhlacha 3D rindreáilte, mar a múnla claochlaithe téacs-go-íomhá, agus sraith de shamhlacha idirleathadh a ghineann scamaill pointe RGB mar a gcuid samhail claochlaithe.íomhánna a íomhá.Múnlaí 3D.
Cé gur bhain obair roimhe seo úsáid as ailtireachtaí 3D chun scamaill phointe a phróiseáil, d’úsáid na taighdeoirí múnla simplí bunaithe ar thrasduchtóir (Vaswani et al., 2017) chun éifeachtúlacht a fheabhsú.Ina n-ailtireacht mhúnla idirleata, cuirtear íomhánna néalphointe isteach ar dtús i múnla ViT-L/14 CLIP réamh-oilte agus ansin cuirtear na mogaill aschuir isteach sa tiontaire mar mharcóirí.
Ina staidéar eimpíreach, rinne an fhoireann comparáid idir an modh Point·E a bhí molta agus samhlacha giniúna 3D eile ar chomharthaí scórála ó thacair sonraí réada a bhrath, a dheighilt agus a shínithe COCO.Deimhníonn na torthaí go bhfuil Point·E in ann cruthanna ilghnéitheacha agus casta 3D a ghiniúint ó chomharthaí casta téacs agus luas a chur le ham tátail de réir ord méadaíochta a haon nó a dó.Tá súil ag an bhfoireann go spreagfaidh a gcuid oibre tuilleadh taighde ar shintéis téacs 3D.
Tá samhail iomadaithe scamall pointe réamhoilte agus cód meastóireachta ar fáil ar GitHub an tionscadail.Pointe an Doiciméid-E: Tá córas chun scamaill phointe 3D a chruthú ó leideanna casta ar arXiv.
Tá a fhios againn nach mian leat aon nuacht nó fionnachtain eolaíoch a chailleann.Liostáil lenár nuachtlitir sheachtainiúil Synced Global AI chun nuashonruithe seachtainiúla AI a fháil.
Am postála: Dec-28-2022