Ano ang GPT-3? Lahat ng kailangan malaman ng iyong negosyo tungkol sa OpenAI's abanteng AI language program

GPT-3 ay isang computer program na nilikha ng privately held San Francisco startup na OpenAI. Ito ay isang napakalaking neural network, at bilang ganoon, ito ay bahagi ng deep learning segment ng machine learning, na siya namang isang sangay ng larangang computer science na kilala bilang artificial intelligence, o AI. Ang programang ito ay mas magaling kaysa sa anumang naunang programa sa paglikha ng mga talata na tila isinulat ng isang tao.

Ang dahilan kung bakit ang ganitong pag-usbong ay maaaring kapakipakinabang sa mga kumpanya ay dahil may malaking potensyal ito para sa pagsasagawa ng mga gawain nang automatiko. Ang GPT-3 ay maaaring magresponde sa anumang teksto na itinatype ng tao sa computer ng isang bagong pirasong teksto na naaayon sa konteksto. Halimbawa, itatype ang isang buong pangungusap sa mga search box, mas malamang na makatanggap ka ng isang tugon na mayaman sa pangungusap na may kinalaman. Ibig sabihin, posible na mapalakas ng GPT-3 ang pagsisikap ng tao sa iba't ibang sitwasyon, mula sa mga tanong at sagot para sa serbisyong pang-kustomer, paghahanap ng mga dokumentong pagkakasunduan, hanggang sa paglikha ng mga ulat.

Alalahanin ang sumusunod na maikling halimbawa ng kung ano ang sinusulat ng isang tao sa computer, at kung papaano sinusulatan ng GPT-3 ng isang sagot:

Input na ibinigay ng tao: Q: Sino ang gumanap bilang Tess sa 'Touched by an Angel'?

GPT-3-generated completion : A: Delloreese Patricia Early (Hulyo 6, 1931 { Nobyembre 19, 2017), kilala rin bilang Della Reese

Ang programang ito ay kasalukuyang nasa pribadong beta kung saan maaaring mag-sign up ang mga tao sa isang waitlist. Ito ay inaalok ng OpenAI bilang isang API na maaaring ma-access sa pamamagitan ng cloud, at ang mga kumpanyang pinahintulutan ng access ay nakabuo ng mga kahanga-hangang aplikasyon na gumagamit ng paglikha ng teksto upang mapabuti ang iba't ibang uri ng mga program, mula sa simpleng pagtatanong-tugon hanggang sa paglikha ng programming code.

Kasama sa potensyal ng awtomasyon ang malalaking kahinaan. Ang GPT-3 ay mahilig sa pagkuha ng kumputo, na ito'y naglalagay sa kanya sa labas ng kakayahang gamitin ng karamihan ng mga kumpanya sa anumang maaaring isipin na on-premise na pamamaraan. Ang kanyang nalikhang teksto ay maaaring nakakamangha sa unang palasak, ngunit ang mahahabang komposisyon ay may posibilidad na maging kahalay-halay. At may malaking potensyal para palakasin ang mga pagkaugnay, kasama na rito ang pampulitika at kahinahinalang diskriminasyon.

PAANO GUMAGANA ANG GPT-3?

Ang GPT-3 ay isang halimbawa ng tinatawag na isang modelo ng wika, na isang partikular na uri ng estadistikong programa. Sa kasong ito, ito ay nilikha bilang isang neural network.

Ang pangalan ng GPT-3 ay isang sigla na nangangahulugan ng "generative pre-training," kung saan ito ang ikatlong bersyon hanggang ngayon. Ito ay generative sapagkat kaiba sa ibang mga neural network na naglalabas ng numerikong puntos o isang oo o hindi sagot, ang GPT-3 ay makagagawa ng mahabang talata ng orihinal na teksto bilang resulta nito. Ito ay pre-trained sa kahulugang ito ay hindi binuo na may anumang domain knowledge, kahit na ito ay kayang magtapos ng mga task na may kaugnayan sa isang partikular na domain, tulad halimbawa ng pagsasalin ng dayuhang wika.

Ang isang modelo ng wika, sa kaso ng GPT-3, ay isang program na kumokalkula kung gaano kahulugan ang pagkakaroon ng isang salita na lumitaw sa isang teksto batay sa mga ibang salita sa teksto. Ito ang tinatawag na kondisyonal na probabilidad ng mga salita.

Para sa halimbawa, sa pangungusap na "Gusto kong gumawa ng omelet, kaya pumunta ako sa ref at kinuha ang ilang ____", puwedeng punuan ang puwang na iyan ng kahit anong salita, kahit mga walang kabuluhan, bunga ng walang hanggang kayang maibaba ng wika. Pero ang salitang "itlog" marahil ay medyo mataas ang marka para punuan ang puwang na iyan sa karamihan ng karaniwang teksto, mas mataas kaysa sa "elepante" halimbawa. Sinasabing mas mataas ang posibilidad ng mga itlog sa kondisyon ng pinalalabas na teksto kaysa sa posibilidad ng mga elepante.

Noong binubuo ang neural network, tinatawag na yung phase na training, binibigyan ng GPT-3 ng milyon-milyong halimbawa ng teksto at ito ay nagcoconvert ng mga salita sa mga tinatawag na vectors, numerical representations. Ito ay isang uri ng pagkompresa ng data. Pagkatapos, sinusubukan ng programang ibalik ang kompresadong teksto sa isang wastong pangungusap. Ang layunin ng pagkompresa at pag-decompress ay nagpapabuti sa accuracy ng programa sa pagkalkula ng kondisyonal na posibilidad ng mga salita.

Kapag natapos na ang pagtatayo ng modelo, ibig sabihin, ginagawa nito ang mga kalkulasyon ng kondisyonal na probabilidad sa libu-libong mga salita upang gawin itong kahusayan hangga't maaari, maaaring ito ay magtaya kung anong mga salita ang susunod kapag tinatanong ito ng isang tao na nagtitipon ng isang simula na salita o mga salita. Ang pagtaya na ito ay kilala sa machine learning bilang inferensya.

Ito ay nagdudulot ng kahanga-hangang epekto ng salamin. Hindi lamang nagkakaroon ng malamang na mga salita, kundi ang tekstura at ritmo ng isang genre o ang anyo ng isang nakasulat na gawain, tulad ng mga set ng mga tanong-sagot, ay muling nalilikha. Kaya halimbawa, ang GPT-3 ay maaaring bigyan ng ilang pangalan ng mga kilalang makata at mga halimbawa ng kanilang mga gawa, pagkatapos ang pangalan ng ibang makata at lamang ang pamagat ng isang imahinasyon na tula, at ang GPT-3 ay maglalabas ng isang bagong tula sa paraang tugma at sintaks ng makata kung saan ang pangalan ay na-promtahan.

Tingnan ang sumusunod na halimbawa ng GPT-3 sa paglikha ng tula mula sa wala na medyo katulad ng mga gawa ni Wallace Stevens, matapos na bigyan ng mga pamagat, pangalan, at mga halimbawa ng iba pang mga makata at kanilang mga gawain:

Human-supplied input: Ang Lungsod  NI C. P. CAVAFY ISINALIN NI EDMUND KEELEY [Ipiniit ang teksto ng tula]

Tinurang Tampok: ILANG PUNO John Ashbery [Ipinakalat ang teksto ng tula]

 Input mula sa tao: Mga Anino sa Daan ni Wallace Stevens 

GPT-3-generated completion : -------- Nalikha na Tula 1 --------   Dapat kong magkaroon ng anino sa daan  Kung nais kong maglakad Dapat kong magkaroon  Bawat hakbang ay unti-unting ginagawa  Upang handa na ito   At dapat kong isipin sa mga linya ng abo  Upang tumulong ang malabong mga kaisipan  Dapat tumingin ng bughaw at luntian  At huwag kailanman ipamukha sa aking mata  Na ang kulay ay aking kaibigan  At dapat akong palibutan din ng lila  Ang dilaw ng araw ay hindi na  Nakahahadlang kaysa sa matingkad na mga niyebe  Na bumabagsak sa ating lahat. Dapat kong  Pagsama-sama ng mga malabong kaisipan at mga bughaw na kaisipan kung ako  Ay maglalakbay ng anuman.

Ang paglikha ng isang tugon ay nangangahulugang ang GPT-3 ay maaaring lumampas sa simpleng paglikha ng pagsusulat. Maaari itong magperform sa iba't ibang uri ng mga pagsusulit na kabilang ang pagsusulit ng pangangatuwiran na kinasasangkutan ng isang tugon gamit ang natural na wika. Halimbawa, kung ipapasok sa GPT-3 ang isang sanaysay tungkol sa mga rental rate ng mga rental property sa Manhattan, at isang pangungusap na nag-uulat ng kabuuan ng teksto, tulad ng "Mura ang buhay sa Manhattan," at ang tanong na "totoo o hindi?", ang GPT-3 ay magre-respond sa buong prompt na iyon sa pamamagitan ng pagbalik ng salitang "hindi totoo," dahil ang pangungusap ay hindi sumasang-ayon sa argumento ng sanaysay.

Input na ibinigay ng tao: Ang trend na patungo sa mas mababang upa ay maaaring tila nakakagulat sa gitna ng pagsisimulaan ng ilang komunidad sa New York dahil sa pagkawala ng ilang paboritong lokal na negosyo dahil sa mataas na upang. Pero, kahit na may kamakailang lakas ng pagbaba, para sa maraming mga tindahan na ito ay masyadong malaki pa rin ang pagtaas mula sa mga rental rate noong dekada '70, noong pinirmahan ang kanilang mga upahan. Tiyak na hindi ibig sabihin ng kamakailang pagbaba sa presyo na mura na ang Manhattan.

Binigay na input ng tao: tanong: Mura ang Manhattan. totoo, hindi totoo, o wala sa dalawang ito?

Input mula sa tao: sagot: 

GPT-3-generated completion : mali

Ang kakayahan ng GPT-3 na magresponde nang konsistent sa isang halimbawa ng gawain, kabilang ang mga porma na hindi pa ito nasasalihan dati, ay ginagawang tinatawag na "few-shot" na language model. Sa halip na makinabang sa malalimang pagsasanay sa isang tiyak na gawain, na tinatawag na "trained," ang GPT-3 ay nagtataglay na ng napakaraming impormasyon tungkol sa iba't ibang paraan ng pagkakasama-sama ng mga salita na maaari itong bigyan lamang ng isang-kamay na halimbawa ng isang gawain, na tinatawag na hakbang sa pagsasaayos, at nagkakaroon ito ng kakayahan na gawin rin ang bagong gawain na iyon.

Ang kakayahan na gayahin ang natural na estilo ng wika at makakuha ng mataas na marka sa mga pagsusulit na batay sa wika ay maaring magbigay ng impresyon na ang GPT-3 ay papalapit na sa isang uri ng kakayahang parang tao sa wika. Gayunpaman, makikita natin na hindi iyon ang tunay na sitwasyon.

Maaaring makita ang higit pang detalye sa teknikal na aspeto sa opisyal na pagsulat ng GPT-3 na inilabas ng mga siyentista ng OpenAI.

ANO ANG MAARING GAWIN NG GPT-3?

Ngayon, ang OpenAI ay nagiging kilala - o kilala - sa mga pamamaraan ng pagpapalabas ng kanilang code tulad ng code mismo. Nang ipakilala ng kumpanya ang GPT-2, ang naunang bersyon, noong Valentine's Day ng 2019, sa unang pagkakataon hindi nito inihayag sa publiko ang pinakakakayahang bersyon, anila'y masyadong mapanganib na ilabas ito sa malawakang publiko dahil sa panganib ng mass-production ng mga pekeng at misleading na teksto. Sa kalaunan, ginawang magagamit ito para i-download ng OpenAI.

Ngayong pagkakataon, hindi na nagbibigay ng anumang mga pag-download ang OpenAI. Sa halip, binuksan nito ang isang endpoint ng API na nakabase sa cloud, ginagawang available ang GPT-3 bilang isang serbisyong "as-a-service". (Isipin ito bilang LMaaS, serbisyo ng modelo ng wika.) Ang dahilan, ayon sa OpenAI, ay upang limitahan ang paggamit ng GPT-3 ng mga masasamang elemento at upang kumita.

"Walang 'undo button' sa mga open source," sinabi ng OpenAI sa pamamagitan ng isang tagapagsalita na sinabi sa ZDNet.

"Ang paglalabas ng GPT-3 sa pamamagitan ng API ay nagbibigay sa atin ng kaligtasan sa pagkontrol ng paggamit nito at maaari nating bawiin ang access kung kinakailangan."

Ngayon, ang serbisyo ng OpenAI API ay limitado sa mga pinayagan lamang; mayroong waitlist na maaaring salihan upang makakuha ng access.

"Sa ngayon, ang API ay nasa kontroladong beta kasama ang isang maliit na bilang ng mga developer na nagpapasa ng ideya para sa isang bagay na gusto nilang dalhin sa produksyon gamit ang API," sabi ng OpenAI sa ZDNet.

At din: Ang 'mapanganib' na AI text generator ng OpenAI ay available na: Natatagpuan ng mga tao ang mga salitang 'kapani-paniwala'

Meron nakakaenganyong mga halimbawa kung ano ang maaaring gawin mula sa mga kumpanya sa beta na programa. Ang Sapling, isang kumpanya na sinusuportahan ng venture fund na Y Combinator, ay nag-aalok ng isang programa na nag-uupo sa ibabaw ng CRM software. Kapag ang isang customer representative ay naglilingkod ng isang inbound help request, halimbawa, sa pamamagitan ng email, ang programa ay gumagamit ng GPT-3 upang magmungkahi ng isang buong pangungusap bilang tugon mula sa pinakamalamang na mga tugon.

Ang game maker na Latitude ay gumagamit ng GPT-3 upang mapabuti ang kanilang text-based adventure game na AI Dungeon. Karaniwan, ang isang adventure game ay nangangailangan ng isang kumplikadong decision tree upang isulat ang maraming posibleng mga landas sa laro. Sa halip, ang GPT-3 ay maaaring likhain ng dinamikong nagbabago ng estado ng gameplay bilang tugon sa mga ginagawang aksyon ng mga gumagamit.

Ngayon, lumalampas na ang pag-automatiko ng mga gawain sa natural na wika patungo sa paglikha ng mga code ng computer. Ang code ay isang wika, at ang GPT-3 ay maaaring magpalagay ng pinakamahuhusay na sintaks ng mga operator at operands sa iba't ibang programming languages, at maaari itong mag-produce ng mga sunud-sunod na maaaring mabuo at maipatupad nang matagumpay.

Isang maagang halimbawa ay sumikat sa Twitter, mula sa app development startup na Debuild. Ang pangunahing tagapamahala ng kumpanya, si Sharif Shameem, ay nagawa ng isang programa kung saan maaari mong ipasulat ang paglalarawan mo ng isang software UI sa simpleng Ingles, at ang GPT-3 ay nagreresponde gamit ang computer code gamit ang JSX syntax extension para sa JavaScript. Ang code na iyon ay lumilikha ng UI na tumutugma sa iyong inilalarawan.

Ito ay kamangha-manghang bagay. Sa pamamagitan ng GPT-3, ako ay nakagawa ng isang layout na generator na kung saan kailangan mo lamang i-describe ang anumang layout na iyong nais, at siya ang gagawa ng JSX code para sa iyo. A N U N G pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) Hulyo 13, 2020

Ipakita ni Shameem na sa pamamagitan ng paglalarawan ng isang UI na may maraming mga button, sa isang solong pangungusap ay maaari niyang ipakita ang buong programa, bagaman isang simpleng programa tulad ng pag-compute ng mga pangunahing operasyon at pagpapakita ng resulta, at ang GPT-3 ay gagawa ng lahat ng kodigo para rito at ipapakita ang gumagana na app.

Gumawa lang ako ng isang *nagfu-function* na React app sa pamamagitan ng paglalahad ng aking hinahangad sa GPT-3. Hanggang ngayon, ako'y nabibighani. pic.twitter.com/UUKSYz2NJO

- Sharif Shameem (@sharifshameem) Hulyo 17, 2020

Ang OpenAI ay "nakuha ang daan-daang libo ng mga aplikasyon para sa API access hanggang ngayon, at maingat tayo sa pagbibigay ng access habang natututo tayo kung ano ang kayang gawin ng mga modelo na ito sa tunay na mundo," ang sinabi ng kumpanya sa ZDNet. "Kaya't maaaring mahaba ang listahan ng mga naghihintay."

Ang presyo para sa isang posibleng komersyal na serbisyo ay hindi pa natukoy. Nang tanungin kung kailan lalabas sa beta ang programa, sinabi ng OpenAI sa ZDNet, "hindi sa nalalapit na panahon."

"Ang pagpapalabas ng isang napakalakas na modelo ay nangangahulugan na kailangan nating mag-ingat at mag-isip-isip tungkol sa epekto nito sa mga negosyo, industriya, at mga tao," sabi ng kumpanya. "Ang format ng isang API ay nagbibigay sa amin ng pagkakataon na pag-aralan at regulahan ang mga tamang paggamit nito, ngunit wala kaming madalian na gawin itong pangkalahatang magagamit dahil sa mga limitasyon nito."

Kung ikaw ay hindi makapaghintay sa beta waitlist, maaari mong habang hinihintay ay i-download ang naunang bersyon, GPT-2, na maaaring patakbuhin sa isang laptop gamit ang Docker installation. Ang source code ay naipost sa parehong Github repository, sa Python format para sa TensorFlow framework. Hindi mo mararanasan ang parehong mga resulta ng GPT-3, syempre, pero ito ay paraan upang simulan ang pagkakakilala sa labas.

Isaisip din na bagong mga modelo ng wika na may katulad na kakayahan ay lumalabas sa madalas na pagkakataon, at ang ilan sa mga ito ay maaaring sapat para sa mga layunin mo. Halimbawa, kamakailan lang ay inilabas ng Google ang isang bersyon ng kanyang BERT na modelo ng wika, tinatawag na LaBSE, na nagpapakita ng isang malinaw na pagpapabuti sa pagsasalin ng wika. Ito ay available para i-download mula sa TensorFlow Hub.

Atbp.: Ang napakalaking GPT-3 ng OpenAI nagpapahiwatig sa mga limitasyon ng mga modelo ng wika para sa AI

ANO ANG KASAYSAYAN NG GPT-3?

Ang GPT-3, na ipinakilala noong Mayo, ay ang ikatlong bersyon ng isang programa na unang ipinakilala noong 2018 ng OpenAI at sinundan noong nakaraang taon ng GPT-2. Ang tatlong programa ay halimbawa ng mabilis na pagbabago sa larangan ng mga modelo ng wika, salamat sa dalawang malaking pag-unlad, na nangyari pareho noong 2015.

Ang unang pag-usad ay ang paggamit ng tinatawag na atensyon. Sinuri ng siyentipiko ng AI na si Yoshua Bengio at ang kanyang mga kasama sa Mila institute for AI sa Montreal na kapag hinigpitan ng mga modelo ng wika ang isang pangungusap sa wikang Ingles at pagkatapos ay ibinunot ito, lahat ay gumagamit ng isang vector ng parehong haba. Ang bawat pangungusap ay siniksik sa isang vector na may parehong laki, kahit gaano kahaba ang pangungusap.

Si Bengio at ang kanyang koponan ay nagtapos na ang ganitong rigidong approach ay isang hadlang. Ang isang modelo ng wika ay dapat na magawa na maghanap sa iba't-ibang mga vector ng iba't-ibang haba upang makita ang mga salita na nagpapahusay sa kondisyunal na probabilidad. At kaya't binuo nila ang isang paraan upang payagan ang neural net na mapakalampag ang mga salita patungo sa mga vector ng iba't-ibang laki, pati na rin ang pagpayag sa programa na maging maliksi sa paghahanap sa mga vector na iyon para sa konteksto na mahalaga. Tinawag nila ito na atensyon.

Ang atensyon ay naging isang mahalagang elemento sa mga modelo ng wika. Ginamit ito ng mga siyentista ng Google dalawang taon mamaya upang lumikha ng isang programa ng modelo ng wika na tinatawag na Transformer. Ang Transformer ay nakakuha ng napakagandang mga puntos sa mga pagsusulit ng paggamit ng wika. Ito ang naging pangunahing modelo ng wika, at ginamit ito ng Google upang lumikha ng tinatawag na BERT, isa pang napakasiglang modelo ng wika. Ang Transformer ay naging batayan din ng GPT-1.

Malaya sa pangangailangang tuwirang i-manipulate ang isang nakapirming-laki na vector, maaaring gumala ang Transformer at ang mga nagmula nito sa iba't ibang bahagi ng isang ibinigay na teksto at makakahanap ng kondisyunal na mga kaugnayan na maaaring umabot sa mas malaking konteksto.

Ang kalayaang iyon ay nagtakda ng isang entablado para sa isa pang innovasyon na dumating noong 2015 at mas mahalaga pa sa gawa ng OpenAI, na kilala bilang unsupervised learning.

Ang pangunahing pokus hanggang sa panahong iyon para sa karamihan sa mga modelo ng wika ay ang nasupervise na pag-aaral gamit ang tinatawag na naglalabel na data. Kapag ibinigay ang isang input, binibigyan din ng neural net ang isang halimbawa ng output bilang bersyon ng layunin ng sagot. Kaya, kung ang gawain ay pagsasalin, maaaring ang isang pangungusap sa Ingles ang input, at isang handog ng pagsasalin sa Pranses na likha ng tao ang ibinigay bilang pinapangarap na layunin, at ang magkasamang mga pangungusap ay kinabibilangan ng isang naglalabel na halimbawa.

Ang pagsisikap ng neural net na maglikha ng isang Filipino pagsasalin ay ihahambing sa opisyal na Filipino pangungusap, at ang pagkakaiba sa pagitan ng dalawa ay kung gaano kamali ang neural net sa paggawa ng mga paghuhula nito, na kilala bilang ang loss function o objective function.

Ang yugtong pagsasanay ay layunin na malunasan ang agwat ng pagkakamali sa pagitan ng sinasuggest ng neural net na output at ng target output. Kapag ang agwat ay napakaliit, naisasaaktibo na ang pangunahing tungkulin at ang neural net ng larangan modelo ng wika ay itinuturing nang nakasanay.

Ngunit ang pagkakaroon ng nais na output na may maingat na paglalagay ng label ay maaaring maging isang suliranin dahil ito ay nangangailangan ng maraming proseso ng kurasyon ng data, tulad ng pag-aayos ng mga halimbawa ng pangungusap sa pamamagitan ng paghatol ng tao, na kung saan ay nagtatagal ng oras at mapagkukunan. Inihipotesa nina Andrew Dai at Quoc Le ng Google na possible na bawasan ang kinakailangang naka-label na data kung ang modelo ng wika ay unang itinrain sa isang hindi tutulungang paraan.

Sa halip na bigyan ng pares ng pangungusap, ang network ay binigyan lamang ng mga solong pangungusap at kinailangang isiksik ang bawat isa sa isang vector at isiksik muli ang bawat isa pabalik sa orihinal na pangungusap. Ang Mirroring ay naging loss function upang ma-optimize. Natuklasan nila na habang mas maraming mga hindi label na halimbawa ang isiksik at isiksik muli sa ganitong paraan, mas marami nilang maaring palitan na mga nakalabel na data sa mga gawain tulad ng pagsasalin.

Noong 2018, pinagsama ng koponan ng OpenAI ang dalawang elemento na ito, ang mekanismong pansin na binuo ni Bengio at mga kasama nito, na maglalakbay sa maraming vector ng mga salita, at ang di-supervisor pre-training na diskarte ni Dai at Le na kumakain ng malalaking halaga ng teksto, pini-press ito at binabalik ito upang maipalabas muli ang orihinal na teksto.

Binuksan nila ang isang standard na Transformer at ipinasok dito ang mga nilalaman ng BookCorpus, isang database na binalangkas ng University of Toronto at MIT na binubuo ng mahigit sa 7,000 na mga teksto ng mga nailathala na libro na may kabuuan na halos isang milyong salita, kabuuang 5GB. Ang GPT-1 ay sinanay upang i-kompres at i-dekompres ang mga libro na iyon.

Kaya nagsimula ang isang tatlong-taong kasaysayan ng mga mas malalaking dataset. Ang mga mananaliksik ng OpenAI, naghihinala na mas malaki ang datos na ginagamit, pinagpatuloy ang pagpapalawak ng mga hangganan ng program. Sa GPT-2, kanilang iniwan ang BookCorpus para sa isang likhang dataset na binubuo ng walong milyong mga pahina ng web na kinuha mula sa mga outbound link ng Reddit, na may kabuuang 40GB na datos.

Ang pag-aaral ng GPT-3 ay mas malaki pa rin, na binubuo ng sikat na dataset ng CommonCrawl na may mga pahina ng Web mula 2016 hanggang 2019. Ito ay papalagiang 45TB na halaga ng compressed text data, bagaman pinaganda ng OpenAI ito upang alisin ang mga kopya at mapabuti ang kalidad. Ang huling bersyon ay 570GB na data. Pinalakas ito ng OpenAI gamit ang ilang karagdagang mga dataset ng iba't ibang uri, kasama ang mga datos ng mga libro.

PAANO NAKASALALAY ANG GPT-3 SA COMPUTE POWER?

Nang dumating ang GPT-1, 2, at 3, naging mahalaga ang sukat ng pagkumpot para sa pag-unlad. Ginagamit ng mga modelo ang higit at higit pang kapangyarihan ng computer habang sila ay ina-train upang makamit ang mas magandang mga resulta.

Ano ang nagpapagaling ng isang neural net sa panahon ng pagsasanay ay ang pag-a-adjust ng mga timbang nito. Ang mga timbang, na tinatawag din na mga parameter, ay mga matris, mga array ng mga hilera at mga haligi na kung saan ang bawat vector ay pinapalitan ng mga salita, o mga bahagi ng salita, ay binibigyan ng mas malaking o mas maliit na pagpapalabas sa huling resulta habang ang neural network ay tinututukan sa pagpapasara ng pagkakamali.

Matuklasan ng OpenAI na upang maging maganda ang kanilang pagganap sa kanilang lumalaking mga dataset, kinakailangan nilang magdagdag ng mas maraming timbangan (weights).

Ang orihinal na Transformer ng Google ay mayroong 110 million weights. Sinundan ito ng GPT-1. Sa GPT-2, ang bilang ay pinalaki sa 1.5 billion weights. Sa GPT-3, ang bilang ng mga parameter ay umabot sa 175 billion, kaya ang GPT-3 ang pinakamalaking neural network na nakita ng mundo.

Ang pagmumultilpika ay isang simpleng bagay, ngunit kapag kailangang i-multiply ang 175 bilyong bigat sa bawat bit ng input data, sa buong bilyon-bilyong byte ng data, ito ay nagiging isang kahanga-hangang ehersisyo sa parallel na pagproseso ng kompyuter.

Noong taong 2018, mayroon nang GPT-1, sinisikap ng OpenAI na abutin ang mga hangganan ng praktikal na pagkokompyuta. Ang pagdaragdag ng data ay nangangailangan ng maraming GPUs. Sa mga naunang mga modelo ng wika, ang mga ito ay kasyang-kasya sa isang GPU dahil maliit lamang ang mga modelo mismo. Ang pagsasanay ng GPT-1 ay tumagal ng isang buwan gamit ang walong GPUs na gumagana nang sabay-sabay.

Sa paggamit ng GPT-3, ang OpenAI ay medyo mahiyain. Hindi nito inilarawan ang eksaktong computer configuration na ginamit sa pagsasanay, maliban sa pagbanggit na ito ay nasa isang cluster ng mga chip na Nvidia V100 na tumatakbo sa Microsoft Azure. Iniulat ng kumpanya ang kabuuang bilang ng kailangang komputasyon, na sinasabi na ito ay katumbas ng pagpapatakbo ng isang libong trilyong floating-point na mga operasyon kada segundo bawat araw sa loob ng 3,640 na mga araw.

Ang Lambda Computing, isang gumagawa ng computer at operator ng ulap, ay nagtatantya na aabutin ng isang solong GPU ng 355 taon para mapatakbo ang ganitong karaming kumpute, na kung sa presyong pangkaraniwang GPU instance sa ulap, nagkakahalaga ng $4.6 milyon. At saka mayroon pang memorya. Upang mapanatiling nakaimbak ang lahat ng weight values, kinakailangan ng mas maraming memorya habang lumalaki ang bilang ng mga parameter. Ang 175 bilyong parameter ng GPT-3 ay nangangailangan ng 700GB, sampung beses na higit kaysa sa memorya ng isang solong GPU.

Ito ang uri ng napakalaking pangangailangan sa kapangyarihan na pinaiigting ang larangan ng mga chip ng computer. Ito ang nag-udyok ng pagtaas ng halaga ng mga shares ng Nvidia, ang pangunahing tagapagbigay ng GPU para sa pagsasanay ng AI, ng halos 5,000% sa nakaraang sampung taon. Ito ang nagdulot ng paglitaw ng maraming startup na sinuportahan ng daan-daang milyong dolyar sa venture capital financing, katulad na lamang ng Cerebras Systems, Graphcore, at Tachyum. Ang kompetisyon ay magpapatuloy sa habang panahon hangga't ang paggawa ng mas malalaking modelo ay nananatiling direksyon ng larangan.

Ang OpenAI ay nag-produce ng sarili nitong pag-aaral sa patuloy na pagsulong ng kapangyarihan ng mga computer. Sinabi ng kumpanya noong 2018 na ang mga computing cycle na ginagamit ng pinakamalalaking mga modelo ng AI training ay nagdudoble kada 3.4 na buwan mula noong 2012, mas mabilis na pagtaas kaysa sa kilalang Moore's Law ng paglaki ng transistor ng chip. (Pansinin, ang kumpanya ay nag-produce din ng pag-aaral na nagpapakita na sa panlabas na anyo, ang mga mas malalaking modelo ay mas epektibo kaysa sa mga naunang neural nets na ginawa ang parehong trabaho.)

Naunahan na, may mga modelo na ang ginagamit ay higit sa isang trilyong parametro, batay sa impormasyon na ibinigay sa mga kumpanya na mayroong top-secret na mga proyekto sa AI. Malamang na hindi iyon ang hangganan, hangga't handang alayin ng mga malalaking kumpanya tulad ng Google ang kanilang malalaking data centers sa lalong malalaking mga modelo. Halos lahat ng mga iskolar sa AI ay sumasang-ayon na ang pagsisikap na magkaroon ng mas malalaking modelo ng machine learning ay magiging karaniwan sa mga susunod na panahon.

"Sa pagtingin sa epekto nito sa AI bilang isang larangan, ang pinakakasiyahan parteng tungkol sa GPT-3 ay ipinapakita nitong hindi pa tayo malapit sa mga limitasyon ng pagpapalaki ng AI," sabi ni Kenny Daniel, CTO ng Algorithmia, isang tagapagbigay ng mga tool para sa pamamahala ng AI, sa ZDNet.

Bukod sa pagpapataas ng paggamit ng compute, ang malaking epekto ng GPT-3 ay malinaw na kung gaano ito kabilis sa pagsulong ng programming at pag-develop ng aplikasyon sa pangkalahatan. Ang demonstrasyon ni Shameem ng isang JSX program na binuo sa pamamagitan ng simpleng pagtype ng isang pangungusap ay tanging simula pa lamang ng isang malaking hamon.

ANU-ANO ANG MGA KAHINAAN NG GPT-3?

Kahit na malaki ang pagpapabuti sa nakaraang bersyon, may mga limitasyon ang GPT-3, gaya ng ipinapakahayag ng mga may-akda. "Bilang kabuuan, mataas ang kalidad ng mga halimbawa sa GPT-3, ngunit minsan pa rin nagreresulta ng semantikong pag-uulit sa antas ng dokumento, at nagiging hindi masyadong koherent ang pagkakasunod-sunod ng mga salita sa sapat na mahabang mga bahagi," kanilang nakasaad sa nailathalang papel.

Ang programang ito ay hindi rin maganda ang performance sa ilang mga indibidwal na pagsusulit. "Nang partikular, nahihirapan ang GPT-3 sa mga tanong tulad ng 'Kung ilalagay ko ang keso sa ref, matutunaw ba ito?' ayon sa mga awtor, pinapaliwanag ang mga bagay na pangkaraniwang kaalaman na hindi natutunton ng GPT-3.

Mayroong kasakiman matapos ilabas ang GPT-3 na nagpahayag mismo ang punong tagapagpaganap ng kompanya, si Sam Altman, na pakiunti-unti ang eagerness ng mga tao.

"Ang sobrang paghype ng GPT-3 ay labis," ayon kay Altman noong Hulyo 19. "Impresibo ito (salamat sa mga magagandang papuri!), ngunit may mga seryosong kahinaan pa rin ito at kung minsan ay gumagawa ng napakabobong pagkakamali," aniya. "Ang AI ay magbabago ng mundo, ngunit ang GPT-3 ay isang napakaaga pangbingwit. Mayroon pa tayong maraming bagay na dapat malaman."

Ang hype ng GPT-3 ay labis na masyado. Ito ay kahanga-hanga (salamat sa magagandang komento!) ngunit may mga mahahalagang kahinaan pa rin ito at kung minsan ay gumagawa ng napakatanga na mga pagkakamali. Ang AI ay magbubukas ng daigdig, ngunit ang GPT-3 ay lamang isang maagang sipat. Marami pa tayong dapat malaman.

— Sam Altman (@sama) Hulyo 19, 2020

Iba't ibang perspektibo mula sa labas ng OpenAI ang ibinahagi. Si Max Woolf, isang karanasan may-ari ng maraming henerasyon ng GPT, ay sumulat sa kanyang personal na blog na ang GPT-3 ay mas mahusay kaysa sa mga nauna nito, ngunit iyan ay batay sa pangkalahatan. May iba't ibang kalidad ang mga tekstong nai-generate, kung kaya't may mga halimbawa na tila kahanga-hanga, at may mga iba na hindi gaanong maganda. Hinahalintulad ni Woolf ang GPT-3 sa Siri ng Apple, na may nakaiiritang ugali na mag-produce ng basura sa maraming pagkakataon. (Ang sanaysay ni Woolf ay tunay na kapakipakinabang basahin buong-buo para sa isang mapag-isip na pagdissect ng GPT-3.)

Tunay nga, habang binabasa ang mas marami at mas maraming mga halimbawa ng GPT-3, lalo na ang mahabang bahagi ng teksto, ang ilang simulaing excitement ay tiyak na maglalabo. Ang GPT-3 sa mahabang panahon ay tila nawawalan ng tuon, gaya ng kanilang sinasabi. Anuman ang genre o gawain, ang teksto nito ay nagsisimulang maging mahaba at nakasisira ng pasensiya, na may mga hindi pagkakaayos sa kuwento.

May ilang mga programmer, kahit na may kanilang kasigasigan, ang nagtala ng maraming kakulangan, mga bagay tulad ng mga hindi nagtagumapay na pagtatangka ni GPT-3 sa mga biro ng mga tatay. Kapag ang input ay "Ano ang sinabi ng isang plato sa isa pa?," ang tamang sagot na biro ng tatay ay, "Ang hapunan ay nasa akin!" Ngunit sa halip, maaaring mag-reply ang GPT-3 ng walang-katawa-tawang, "Ilublob mo ako!"

Talasalitaan mula sa tao: Q. Ano ang sinabi ng isang pinggan sa ibang pinggan?

GPT-3-generated completion : A. I-Babad mo ako!

Habang ang GPT-3 ay maaaring sagutin ang mga inaasahang katanungan ng common sense, tulad ng ilang mga mata ng isang giraffe, hindi ito makapagtatanggol sa isang walang kabuluhan na tanong at napapalabas nitong isang walang kabuluhang sagot. Kapag tinanong, "Ilang mata ang meron ang paa ko?," ito ay taimtim na sasagot, "Ang paa ko ay may dalawang mata."

Isang paraan upang isipin ang lahat ng kawalan ng kahusayan ay ang pagkuha ng magandang output mula sa GPT-3 sa isang tiyak na halaga ay nangangailangan ng pag-aalok ng mabubuting mga paanyaya. May mga paanyayang likha ng tao na magagawa na mas mahusay na magbigay ng magandang mga resulta kaysa sa ibang mga paanyaya. Ito ay isang bagong bersyon ng kasabihang "basura sa loob, basura sa labas." Ang mga paanyaya ay tila magiging isang bagong larangan ng programming na nangangailangan ng katalinuhan at kabayanihan.

Pagtatabi ng mga salungatan ay isang malaking pagsasaalang-alang, hindi lamang sa GPT-3 kundi sa lahat ng mga programa na umaasa sa kondisyunal na distribusyon. Ang pangunahing approach ng programa ay upang ibalik ang eksaktong naisin na ipasok sa kanya, tulad ng isang salamin. Ito ay may potensyal na magpatuloy ng mga salungatan sa data. Mayroon nang isang pag-uusap ng mga akademiko ukol sa malalawak na salungatan sa GPT-2.

Sa pamamagitan ng GPT-3, isang siyentipiko ng Nvidia AI na si Anima Anandkumar, binalaan na patuloy ang pagkakaroon ng tendensya na mag-produce ng biased output, kasama na ang mga mapanghusgang at mapanukso na output.

Naabala ako ng makita ito na inilabas na walang pananagutan sa bias. Sinanay ito sa korpus ng @reddit na may malalaking halimbawa ng #panghuhusga at #pagwawalang respeto. Nakatrabaho ko na ang mga modelo at ang mga teksto na kanilang nailabas ay sobrang biased. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

- Prof. Anima Anandkumar (@AnimaAnandkumar) Hunyo 11, 2020

Tanong hinggil sa pagbatikos ni Anandkumar, sinabi ng OpenAI sa ZDNet, "Tulad ng mga iba pang namamayaning generative models, ang katapatan at maling paggamit ay isang alalahanin para sa amin."

"Ito ay isang dahilan kung bakit ibinabahagi namin ang teknolohiyang ito sa pamamagitan ng API at pagsisimula sa pribadong beta," sabi ng OpenAI sa ZDNet. Iginiit ng kumpanya na "hindi namin susuportahan ang mga gamit na nauukol sa pisikal o mental na pinsala sa mga tao, kabilang angunit hindi limitado sa pangungulit, sadyang panlilinlang, radikalismo, astroturfing, o spam."

Sinabi ng OpenAI sa ZDNet na ginagamit nila ang isang kilalang uri ng white hat, black hat wargaming upang malaman ang mga panganib sa programa:

Deploy namin ang tinatawag na 'red team' na may tungkuling patuloy na sumira sa sistema ng pagsala ng nilalaman upang mas maunawaan namin kung paano at bakit nagbibigay ang modelo ng maling mga output. Ang katapat nito ay ang "blue team" na may tungkuling sukatin at bawasan ang bias.

Isang malaking isyu pa ay ang napakalawak at pinakamababang denominator na katangian ng GPT-3, ang katotohanan na binibigyang-buhay lamang ang pinakamatabang bahagi ng isang kurbang kondisyonado na posibilidad. Mayroong tinatawag na mahabang buntot, at kung minsan ay matabang buntot, ng isang distribusyon ng posibilidad. Ito ay mga mas bihira mangyaring mga halimbawa na maaaring magdulot ng mga pinakainobatibong paggamit ng wika. Ang pagtuon sa pagsasalarawan ng pinakakaraniwang teksto sa isang lipunan ay nagdudulot ng panganib na tuluyang mawala ang pagiging malikhain at pagsasaliksik.

Para sa ngayon, ang sagot ng OpenAI sa problema na iyon ay isang setting na maaaring i-adjust sa GPT-3 na tinatawag na temperature value. Sa pag-aayos ng knob na ito, isasapatono ng GPT-3 ang pagpili ng mga kombinasyon ng salita na mas mababa ang posibilidad at kaya't maglilikha ng teksto na marahil ay mas kakaiba.

Isa pang mahalagang alalahanin para sa isang negosyo ay hindi kayang i-adjust ang GPT-3 gamit ang kompanya-spesipikong data. Kung walang maia-adjust, mahirap na uunahin ang pagsasalarawan ni GPT-3 sa isang industriya, halimbawa. Maaaring mangyari na anumang kompanya na gumagamit ng API service ay kinakailangang i-edit pa ang teksto upang ito ay lumabas na kaakibat ng isang larangan. Marahil, ang mga startups tulad ng Sapling ay magiging bahagi ng isang ekosistema, katulad ng mga VARs, na magmumungkahi ng solusyon sa isyung ito. Marahil nga, ngunit ito'y maaaring malaman lamang sa hinaharap.

Kung hindi sapat ang mga alalahanin na iyon, may isa pang isyu na dapat ipag-alala, at ito ay ang katotohanang bilang cloud service, ang GPT-3 ay isang black box. Ibig sabihin nito ay walang kamalayan ang mga kumpanyang gagamit ng serbisyo kung paano ito naglalabas ng output nito -- isang lantarang delikadong panukala kung ating isasaalang-alang ang mga isyung may kinalaman sa pagkakaiba-iba. Ang isang ecosystem ng mga partido tulad ng Sapling na nagpapaganda sa GPT-3 ay maaaring magdagdag ng higit pang mga layer ng pagpapalabo sa buong serbisyo habang pinapaganda ito.

Bilang isang subseksyon ng isyu ng itim na kahon, sa ilang mga kaso ang GPT-3 ay maaaring simpleng tandaan ang mga bagay na ito na ibinigay nito mula sa web. Ito ay nagbibigay-daan sa mga isyu ng karapatan sa may-ari. Kung ang isang kumpanya ay kukuha ng output mula sa serbisyong API na may karapatang-ari, maaaring lalabagin ng kumpanyang iyon ang karapatan sa may-ari ng ibang tao. Nang tanungin tungkol sa karapatan sa may-ari, sinabi ng OpenAI sa ZDNet na ang karapatan sa may-akda para sa tekstong nilikha ng GPT-3 "ay nauukol sa gumagamit, hindi sa OpenAI." Kung ano ang ibig sabihin nito sa praktika ay nananatiling hindi malinaw.

Sa ngayon, ang pinakamalaking praktikal na limitasyon ay ang kailangang sukat upang i-train at patakbuhin ang GPT-3. Kinikilala ito ng OpenAI sa pormal na papel. Sinasabi ng mga awtor na kailangan gawin ang pagkalkula kung paano binabayaran sa loob ng panahon ang halaga ng malalaking model batay sa halaga ng nilikha nitong output.

Atbp: Hindi, hindi itong AI na ito ang makakapagtapos ng iyong pangungusap

TALAGANG NATUTUTO BA ANG GPT-3?

Sa pamamagitan ng makitid na kahulugan ng salita, natututo ang GPT-3 sa kahulugang sinusuri ang mga parameter na bigat nito nang awtomatiko sa pamamagitan ng pagpapasok ng mga training data upang ang modelo ng wika ay mas maganda ang kalalabasan kaysa sa mismong eksplisitong programming. Sa ganitong kahulugan, ang GPT-3 ay isang pag-usad sa dekadang pagsisikap na makahanap ng isang computer na kayang matuto ng isang function upang mapagbago ang data nang hindi kailangang eksplisitong isampol ng tao ang function na iyon.

Saad niyon, may iilang magtatanong kung tunay na intelligent o tunay na natututo ang makina. May maraming paraan upang talakayin ang isyung iyon, ngunit sa malalim na pag-iisip, maraming mga pagsasaligang tinatawag natin na pag-iisip ng tao ay hindi nagaganap dito.

Ipagpalagay kung mayroon kang kakayahang magtaglay sa iyong isipan ng isang numero na naglalarawan kung gaano karaming salita ang malamang na lumitaw na magkasama. Sasabihin mo ba na ang iyong kakayahan na bumuo ng mga parirala, pangungusap, talata at buong mga teksto ay malalim? Marahil, sasabihin mong ito ay lamang estadistika, at may kulang na ibang bagay.

Ginawa ang mga paghahambing sa pag-aaral sa malalim na pagkatuto at sa sikat na Clever Hans, isang kabayo na Aleman na pinapakita ng kanyang amo sa publiko bilang isang hayop na kaya magbilang gamit ang kanyang mga paa. Nalaman na ang totoo ay sumusunod si Hans sa mga senyales ng kanyang amo upang tumaas ang kanyang paa, at kung walang mga senyales ay hindi niya magawa ito.

Gayundin, ang tao na kalidad ng GPT-3 ay nagkakasira kapag mas malapit na pagsusuri. Kapag ang GPT-3 ay tama ang sagot sa isang totoo-pekeng tanong tungkol sa isang sanaysay tungkol sa tunay na estate ng New York, hindi ito dahil alam ng program ang tungkol sa tunay na estate o New York. Ito ay nakatago ang posibilidad na pamamahagi na kumukuha ng mga pangangatwiranan sa mga teksto at ang pormat ng isang pahayag-tanong na pares, at ito ay kayang gayahin sa output.

Hans wala'y nahibaw-an bisan unsa bahin sa arithmetic, pero aron idepensa ni Hans, aduna siyay kahibalo sa gipasiugda. Sa butang sa neural networks, ang mga kritiko nag-ingon nga aduna lamang mga panlilo diha, walay bisan unsay pagkabahad.

Gayunpaman, maraming iba't ibang kahulugan ang intelligence at pag-aaral, at nagbago rin ang mga pamantayan sa loob ng mga taon para sa kung ano ang itinuturing na artificial intelligence, tulad ng hinayupak na sinabi ni Pamela McCorduck, isang istoryador ng larangan. Maaaring ang iba ay mag-argue na isang programa na kayang magbilang ng mga probabilidad sa malawak na assemblages ng teksto ay maaaring iba't ibang uri ng intelligence, marahil isang alien intelligence na iba sa ating sarili. Ang pag-dismiss nito ay tila maaga.

Bukod dito, ang mga neural network na nagdudulot ng mga kondisyonal na probabilidad na ito ay higit sa simpleng mga programa ng estadistika. Ang kanilang mga pagkalkula ay emergent property ng maramihang magkasabay na mga operasyon sa matematika na naganap nang sabay-sabay, ang pagtuon ng mga timbang ng mga parameter. Kung posible na isaalang-alang ang iba pang anyo ng katalinuhan, maaaring ang emergent property tulad ng mga distributed representation na nabubuo sa loob ng neural nets ay isa sa mga lugar na pagtuunan nito.

ANO ANG KINABUKASAN NG GPT-3?

Isang bagay ay mukhang tiyak: Nagsimula ng isang bagong kabanata ang GPT-3 sa machine learning. Ang pinakamapansin na tampok nito ay ang kanyang pangkalahatang kakayahan. Maganda ang mga taong neural networks ay binuo gamit ang mga function na naka-tune sa isang partikular na gawain, tulad ng pagsasalin o pag-alamat sa mga tanong. Ang mga dataset ay naaayos upang sumalamin sa gawain na ito. Sa halip, wala sa GPT-3 ang partikular na mga function para sa gawain, at hindi nito kailangan ng espesyal na dataset. Ito ay sinisipsip lamang ang kahit na anong teksto mula saanman at nilalabas ito sa kanyang output.

Kahit papaano, sa pagkalkula ng distribusyon ng kondisyonal na probabilidad sa lahat ng gabayt ng teksto, lumilitaw ang isang function na maaaring magbigay ng mga sagot na makakalaban sa anumang bilang ng mga gawain. Ito ay isang nakapagpapatanging tagumpay ng kabatiran na marahil ay may maraming taon ng mga tagumpay na naghihintay sa hinaharap.

Kahit na maaaring abutin ng pangkalahatan na iyon, maaari itong makarating sa kanyang hangganan. Sa katunayan, binanggit ng mga may-akda ng GPT-3 sa dulo ng kanilang papel na ang direksyon ng pre-training ay maaaring maubos ng enerhiya. "Ang isang mas pangkalahatang limitasyon ng pangkalahatang oras na inilalarawan sa papel na ito [...] ay maaaring maabot (o maaaring nasa gilid na) ang mga limitasyon ng layunin ng pre-training."

Ang mga may-akda ay nagmungkahi ng mga bagong direksyon na maaaring magsama ng "pag-aaral ng layunin na mula sa mga tao," at paghahalo ng iba pang uri ng malalim na pag-aaral, tulad ng "reinforcement learning" na pamamaraan na ginamit sa AlphaZero ng DeepMind upang manalo sa chess at go. (Simula pa lamang, nagsimula na sila sa pagsasakatuparan ng mga ganitong pamamaraan. Noong una ng Setyembre, ipinakita ng mga may-akda ng OpenAI na maaari nilang gamitin ang reinforcement learning upang i-train ang GPT-3 upang makabuo ng mas magandang pagsusummarize ng mga artikulo sa pamamagitan ng pagbibigay ng ilang feedback mula sa mga tao kung alin ang mas magandang pagsusummarize.)

Ang isa pang inirerekomenda nila ay ang pagdagdag ng iba pang mga uri ng datos, tulad ng mga imahe, upang punan ang "modelo ng mundo" ng programa.

Totoo nga, malamang na sa mga susunod na taon ang pangkalahatang pamamaraan na ito ay maaaring kumalat pati sa iba pang mga modality bukod sa teksto, tulad ng mga larawan at bidyo. Isipin mo ang isang programa tulad ng GPT-3 na kayang isalin ang mga larawan sa salita at salita sa mga larawan nang walang partikular na algorithm para i-modelo ang relasyon sa pagitan ng dalawa. Halimbawa, ito ay maaaring "matuto" ng mga paglalarawan ng pangyayari mula sa mga litratong pampaligid o ma-predict ang pisikal na sunud-sunod ng mga pangyayari mula sa mga deskripsyon sa teksto.

Ang direktor ng Facebook AI na si Yann LeCun ay nagpakita ng argumento na ang di-suporduhang pagsasanay sa iba't ibang anyo ay ang kinabukasan ng malalim na pag-aaral. Kung ito'y totoo, ang pre-training na pamamaraan na ginagamit sa maraming modality ng datos, mula sa tinig hanggang sa teksto, imahe, at video, ay maaaring ituring na isang napakapromising na direksyon para sa di-suporduhang paglago.