Pitong Libreng GPT Modelo na Open Source Pinakawalan

Ang kompanyang Silicon Valley AI na Cerebras ay naglabas ng pitong open source GPT models upang magbigay ng alternatibo sa mga mahigpit na kontrolado at pribadong sistema na available ngayon.

Ang mga modelo ng GPT na walang bayad at source code bukas, kasama ang mga timbang at tuntunin sa pagsasanay, ay inilabas sa ilalim ng maluwag na lisensiyang Apache 2.0 ng Cerebras, isang kompanya na nag-aalok ng imprastraktura para sa mga aplikasyon sa AI batay sa Silicon Valley.

Hanggang sa isang tiyak na antas, ang pitong mga modelo ng GPT ay isang patunay na konsepto para sa Cerebras Andromeda AI supercomputer.

Ang infrastruktura ng Cerebras ay nagbibigay-daan sa kanilang mga customer, tulad ng Jasper AI Copywriter, na mabilis na magpalaki ng kanilang sariling pasadyang mga modelo ng wika.

Isang blog post mula sa Cerebras tungkol sa teknolohiya ng hardware:

“Kami ay nagtrain ng lahat ng mga modelo ng Cerebras-GPT sa isang 16x CS-2 Cerebras Wafer-Scale Cluster na tinatawag na Andromeda.

Ang cluster ay nagpapahintulot na matapos agad ang lahat ng mga eksperimento, nang hindi kinakailangang gumamit ng tradisyunal na distributed systems engineering at model parallel tuning na pangangailangan sa mga GPU cluster.

Pinakamahalaga sa lahat, nagpapahintulot ito sa aming mga mananaliksik na magtuon sa pagdidisenyo ng ML nang hindi nag-aalala sa distributed system. Naniniwala kami na ang kakayahan na madaling magtrain ng malalaking modelo ay isang pangunahing tagapagpaganap para sa malawak na komunidad, kaya ginawa namin ang Cerebras Wafer-Scale Cluster na magagamit sa ilang cloud platform sa pamamagitan ng Cerebras AI Model Studio.”

Cerebras Mga Modelo ng GPT at Pagiging Malinaw

Binibigyang-diin ng Cerebras ang pagkakaroon ng iilang kumpanya na may hawak sa teknolohiyang AI bilang isa sa mga dahilan ng paglikha ng pitong open source na mga modelo ng GPT.

Ang OpenAI, Meta, at DeepMind ay nagtatago ng malaking halaga ng impormasyon tungkol sa kanilang mga sistema na pribado at mahigpit na kontrolado, na nagpapalimita sa mga inobasyon sa anumang desisyon ng tatlong korporasyon tungkol sa kung ano ang maaaring gawin ng ibang tao sa kanilang mga datos.

Ang isang saradong-sangkapang systema ba ang pinakamahusay para sa innovation sa AI? O ang open source ba ang kinabukasan?

Nagsasabi ang Cerebras:

"Upang ang LLMs ay maging isang bukas at madaling ma-access na teknolohiya, naniniwala kami na mahalaga na magkaroon ng access sa mga state-of-the-art na mga modelo na bukas, maaaring ma-reproduc e at walang bayad para sa pananaliksik at komersyal na mga aplikasyon.

Upang maabot ito, kami ay nagtrain ng isang pamilya ng mga transformer models gamit ang pinakabagong mga teknik at mga bukas na datasets na tinatawag naming Cerebras-GPT.

Ang mga modelo na ito ang unang pamilya ng mga GPT models na nagaaral gamit ang Chinchilla formula at inilabas sa pamamagitan ng lisensyang Apache 2.0."

Kaya't ang pitong modelo na ito ay inilabas sa Hugging Face at GitHub upang palakasin ang mas maraming pananaliksik sa pamamagitan ng malayang pag-access sa teknolohiyang AI.

Ang mga modelo na ito ay sinanay gamit ang Cerebras' Andromeda AI supercomputer, isang proseso na natapos lamang sa loob ng mga linggo.

Ang Cerebras-GPT ay ganap na bukas at transparente, hindi katulad ng pinakabagong mga modelo ng GPT mula sa OpenAI (GPT-4), Deepmind, at Meta OPT.

Ang OpenAI at Deepmind Chinchilla ay hindi nag-aalok ng mga lisensya upang gamitin ang mga modelo. Ang Meta OPT ay nag-aalok lamang ng non-commercial na lisensya.

Ang GPT-4 ng OpenAI ay walang anumang pagiging malinaw tungkol sa kanilang mga datos sa pagsasanay. Ginamit ba nila ang data ng Common Crawl? Ginara ba nila ang Internet at gumawa ng kanilang sariling dataset?

Ang OpenAI ay nagpapahalaga sa kalinawan ng impormasyon na ito (at higit pa), na kabaliktaran ng pagkakatanggap sa Cerebras-GPT na ganap na transparente.

Ang sumusunod ay bukas at transparent:

• Arkitekturang modelo
• Mga datos ng pag-aaral
• Mga bigat ng modelo
• Mga checkpoints
• Kalagayan ng pagsasanay na optimize sa pag-compute (oo)
• Lisensya na magamit: Apache 2.0 Lisensya

Ang pitong mga bersiyon ay naglalaman ng mga modelo na may 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, at 13B.

Inanunsiyo ito:

“Sa unang pagkakataon sa mga kumpanyang AI hardware, pinag-aralan ng mga mananaliksik ng Cerebras, gamit ang Andromeda AI supercomputer, ang isang serye ng pitong GPT models na may 111M, 256M, 590M, 1.3B, 2.7B, 6.7B, at 13B na mga parameter.

Karaniwang isang proyektong tumatagal ng ilang buwan, ang trabahong ito ay natapos sa loob ng ilang linggo dahil sa kahanga-hangang bilis ng mga sistema ng Cerebras CS-2 na binubuo ang Andromeda, at ang kakayahan ng weight streaming architecture ng Cerebras na alisin ang paghihirap ng nakaambang pagkalkula.

Ang mga resultang ito ay nagpapakita na ang mga sistema ng Cerebras ay maaaring maglatag ng mga pinakamalalaking at pinakakomplikadong AI na trabaho sa kasalukuyan.

Ito ang unang pagkakataon na isang suite ng mga GPT model, na pinag-aralan gamit ang mga teknik sa kahusayan ng pagsasanay sa pangangalaga ng estado ng sining, ay inilabas sa publiko.

Ang mga modelo na ito ay itinatrain sa pinakamataas na antas ng katumpakan batay sa takdang budget ng pagkalkula (i.e. pagsasanay ng kahusayan gamit ang riceta ng Chinchilla) kaya't may mas mababang oras ng pagsasanay, mas mababang gastos sa pagsasanay, at mas kaunting enerhiya ang ginagamit kumpara sa anumang kasalukuyang mga modelo na inilabas sa publiko."

Open Source AI

Ang Mozilla foundation, ang mga tagagawa ng open source software na Firefox, ay nagtatag ng isang kumpanya na tinatawag na Mozilla.ai upang lumikha ng mga open source GPT at mga sistema ng rekomendasyon na mapagkakatiwalaan at pinahahalagahan ang privacy.

Kamakailan lang, inilabas din ng Databricks ang isang GPT Clone na tinawag na Dolly na naglalayong pagsamantalahin "ang mahika ng ChatGPT."

Bukod sa pitong mga modelo ng Cerebras GPT, isang kumpanya na tinatawag na Nomic AI, naglabas ng GPT4All, isang bukas na mapagkukunan na GPT na maaaring tumakbo sa isang laptop.

Ang kilusang open source ng AI ay nasa pagkalipas pa lamang na yugto ngunit patuloy na lumalakas.

Ang teknolohiyang GPT ay nagdudulot ng malaking mga pagbabago sa iba't ibang industriya at posible, marahil, na ang mga kontribusyon mula sa mga open source ay maaaring baguhin ang anyo ng mga industriyang nagpapatakbo ng pagbabago na iyon.

Kung patuloy na umuusad ang kilusang open source sa ganitong bilis, maaari tayong makakakita ng isang pagbabago sa pagbabalangkas ng AI na hindi ito nakatuon sa kamay ng ilang kumpaniya.

Basahin ang opisyal na pahayag:

Nilabas ng Cerebras Systems ang Pitong Bagong GPT Models na Nahubog sa mga CS-2 Wafer-Scale Systems