Bagong Open Source ChatGPT Clone - Tinawag na Dolly

Ang Open Source GPT Chat ay naglakad pa ng isang hakbang sa harap ng pagpapalabas ng Dolly Large Language Model (DLL) na ginawa ng Databricks enterprise software company.

Ang bagong kopya ng ChatGPT ay tinatawag na Dolly, na pinangalanang matapos sa sikat na tupa na may pangalang iyon, ang unang hayop na nagawa ng pagkakabuo-buo ng kopya ng DNA nito.

Malalaking Modelo ng mga Wika na Bukas-sa-Pagbabahagi ng Pinagmulan

Ang Dolly LLM ay ang pinakabagong pagpapakita ng lumalaking kilusang pang-agham ng open source AI na naglalayong magbigay ng mas malawak na access sa teknolohiya upang hindi ito ma-monopoleyo at mapangasiwaan ng malalaking korporasyon.

Isa sa mga pangamba na nagtutulak sa open source AI movement ay ang posibilidad na ang mga negosyo ay maiiwang mag-atubili na ibigay ang kanilang sensitibong data sa isang ikatlong partido na nangangasiwa sa teknolohiyang AI.

Batay sa Buksan na Pagmamanupaktura

Si Dolly ay nilikha mula sa isang bukás na mapapakinabangang modelo na nilikha ng non-profit na EleutherAI research institute at ang modelo ng Stanford University Alpaca na nilikha mismo mula sa 65 bilyong pamamaraang bukás na mapapakinabangan ang modelo ng LLaMA na nilikha ng Meta.

LLaMA, na nangangahulugang Large Language Model Meta AI, ay isang modelo ng wika na naitraining gamit ang mga pampublikong magagamit na datos.

Ayon sa isang artikulo ng Weights & Biases, ang LLaMA ay mas magaling kaysa sa karamihan sa mga tanyag na mga modelo ng wika (OpenAI GPT-3, Gopher ng Deep Mind at Chinchilla ng DeepMind) kahit na mas maliit ito.

Paglikha ng Mas Mahusay na Dataset

May isa pang inspirasyon na nagmula sa isang pananaliksik na akademiko (SELF-INSTRUCT: Pag-uusapan ang Language Model sa mga Sarilinbuhay na mga Tagubilin PDF) na nagtatakda ng paraan upang lumikha ng mataas na kalidad na dina-download na data para sa pagsasanay na tanong at sagot na mas maganda kaysa sa limitadong pampublikong data.

Ang pagsasaliksik na Self-Instruct ay naglalarawan:

“...nag-aalaga kami ng isang set ng mga eksperto na sinusulat na mga tagubilin para sa mga bagong gawain, at ipinapakita sa pamamagitan ng pagsusuri ng tao na ang pagtu-tuning ng GPT3 gamit ang SELF-INSTRUCT ay mas mahusay kumpara sa paggamit ng mga umiiral na pampublikong dataset ng mga tagubilin sa pamamagitan ng malaking agwat, at may lamang na 5% absolutong agwat sa likod ng InstructGPT...

...Sa pag-aaplay ng aming paraan sa vanilla GPT3, ipinapakita namin ang isang 33% absolutong pagpapabuti sa ibabaw ng orihinal na modelo sa SUPERNATURALINSTRUCTIONS, katulad ng pagganap ng InstructGPT... na sinanay gamit ang mga pribadong data ng mga gumagamit at mga anotasyon ng tao.”

Ang kahalagahan ng Dolly ay ipinakikita na isang kapaki-pakinabang na malaking modelo ng wika ay maaaring gawin gamit ang isang mas maliit ngunit mataas na kalidad na dataset.

Sinusuri ng Databricks:

Ang Dolly ay gumagana sa pamamagitan ng pagkuha ng isang umiiral na bukas na mapagkukunan ng 6 bilyong parameter mula sa EleutherAI at pagbabago ng kaunti upang magkaroon ng kakayahang sumunod sa mga tagubilin tulad ng brainstorming at paglikha ng teksto na hindi makikita sa orihinal na modelo, gamit ang data mula sa Alpaca.

…Ipakita namin na sinuman ay maaaring kunin ang isang lumang off-the-shelf na malaking language model na bukas na pinagmulan (LLM) at bigyan ito ng kahanga-hangang kakayahan ng pagsunod sa mga tagubilin gaya ng ChatGPT sa pamamagitan ng pagsasanay nito sa loob ng 30 minuto sa isang makina, gamit ang mataas na kalidad na mga datos sa pagsasanay.

Nakakagulat na hindi tila kailangan ang pinakabagong o pinakamalaking mga modelo sa pag-susunod sa mga tagubilin: ang aming modelo ay may lamang 6 bilyong mga parameter, kumpara sa 175 bilyon para sa GPT-3."

Ang Databricks Open Source AI

Sinasabing ang Dolly ay nagpapayabong sa AI. Ito ay bahagi ng patuloy na kilusang kamakailan lamang sinuportahan ng non-profit na organisasyon ng Mozilla sa pamamagitan ng pagtatatag ng Mozilla.ai. Ang Mozilla ay ang tagapagpalabas ng browser na Firefox at iba pang open source na software.