Ang ChatGPT ay kayang sumulat ng code. Ngayon sinasabi ng mga mananaliksik na magaling din ito sa pag-aayos ng mga bug.

Ang ChatGPT chatbot ng OpenAI ay magaling sa pag-aayos ng mga bug sa software, ngunit ang pangunahing pambihirang kakayahan nito kumpara sa ibang paraan at AI models ay ang kakayahang makipag-dialogo sa mga tao na nagpapahintulot sa kanya na mapabuti ang kawastuhan ng isang sagot.

Mga mananaliksik mula sa Johannes Gutenberg University Mainz at University College London ay nagsagawa ng labanan sa pagitan ng ChatGPT ng OpenAI laban sa "karaniwang mga automated program repair techniques" at dalawang deep-learning approaches para sa pagkumpuni ng mga programa: ang CoCoNut mula sa mga mananaliksik sa University of Waterloo, Canada; at ang Codex, ang modelo ng OpenAI na batay sa GPT-3 na nagbibigay suporta sa GitHub's Copilot na auto code-completion service para sa paired programming.

Dagdag: Paano magsimula gamit ang ChatGPT

"Natuklasan namin na ang pagpapabuting pagkakamali ng ChatGPT ay competitive sa mga karaniwang pamamaraan ng deep learning tulad ng CoCoNut at Codex at lalo na'y mas maganda kaysa sa mga resulta na iniulat para sa mga karaniwang pamamaraan ng pagkukumpuni ng programa," ang isinulat ng mga mananaliksik sa isang bagong arXiv paper, unang napuna ng New Scientist.

Ang pinakamahusay na mga chatbot na AI: ChatGPT at iba pang kahanga-hangang kapalit na maipapayo

Ang AI chatbots at mga manunulat ay maaaring makatulong sa pagbabawas ng iyong trabaho sa pamamagitan ng pagsusulat ng mga email at sanaysay at pati na rin sa pagsasagot ng mga problema sa matematika. Ginagamit nila ang artificial intelligence upang lumikha ng tekstong sagot o mga tugon batay sa input ng mga gumagamit. Ang ChatGPT ay isang kilalang halimbawa, ngunit may iba pang marapat na banggitin na mga chatbot.

Basa ngayon

Na hindi bago ang paggamit ng ChatGPT sa pagsasaayos ng mga problema sa pagko-coding, ngunit binibigyang-diin ng mga mananaliksik na ang natatanging kakayahan nitong makipag-usap sa mga tao ay nagbibigay sa ito ng posibleng kalamangan sa iba pang mga pamamaraan at modelo.

Ang mga mananaliksik ay sumubok ng pagganap ng ChatGPT gamit ang benchmark ng bug-fixing ng QuixBugs. Mukhang nasa kapansanan ang mga automatikong sistema ng pagkumpuni ng programa (APR) dahil sila ay napag-aral bago ang 2018.

Ang ChatGPT ay batay sa arkitektura ng transformer, na binanggit ni Yann LeCunn, ang pangunahing AI ng Meta, na ito ay binuo ng Google. Ang Codex, CodeBERT mula sa Microsoft Research, at ang dati nitong bersyon na BERT mula sa Google ay lahat batay sa pamamaraan ng transformer ng Google.

Ang OpenAI ay nagbibigay-diin sa kakayahan ng ChatGPT na magkaroon ng diyalogo sa mga halimbawa para sa pagde-debug ng code kung saan ito ay maaaring magtanong para sa mga paliwanag, at tumanggap ng mga hint mula sa isang tao upang makarating sa mas mahusay na sagot. Naitreyn ang malalaking language model sa likod ng ChatGPT (GPT-3 at GPT 3.5) gamit ang Reinforcement Learning from Human Feedback (RLHF).

Habang ang kakayahan ng ChatGPT na makipag-usap ay nakakatulong upang makarating sa isang mas tama na sagot, mahirap ipahayag ang kalidad ng mga mungkahi nito, ayon sa mga mananaliksik. Ito ang dahilan kung bakit nais nilang suriin ang kakayahan ng ChatGPT na ayusin ang mga bug.

Ang mga mananaliksik ay sumubok ng ChatGPT sa laban sa 40 mga suliranin sa Python lamang ng QuixBugs, at saka sinusuri kung ang ibinigay na solusyon ay tama o hindi. Muling tinanong ang tanong ng apat na beses dahil may kaunting kabuuan sa kasiguraduhan ng mga sagot ng ChatGPT, tulad ng natuklasan ng isang propesor ng Wharton matapos isailalim sa chatbot ang isang parang pagsubok ng MBA.

Ang ChatGPT ay nagresolba ng 19 sa 40 Python bugs, na naglalagay dito sa parehong antas ng CoCoNut (19) at Codex (21). Ngunit ang mga karaniwang APR methods ay nagresolba lamang ng pitong problema.

Matuklasan ng mga mananaliksik na umabot sa 77.5% ang tagumpay ng ChatGPT sa mga pagsusuri na may mga susunod na pakikipag-ugnay.

Ang mga implikasyon para sa mga developer pagdating sa pagsisikap at produktibidad ay hindi malinaw. Kamakailan lamang, ipinagbawal ng Stack Overflow ang mga sagot na nalikha ng ChatGPT dahil sa mababang kalidad subalit tunog-plausible. Natuklasan ng propesor sa Wharton na maaaring maging magandang kasama ang ChatGPT sa mga estudyanteng nag-aaral ng MBA dahil ito'y maaaring maging isang "matalinong konsultant" - isang naglalabas ng elegante ngunit kadalasang maling mga sagot - at nagpapaunlad ng pangangatwiran.

"Ito ay nagpapakita na ang paglahok ng tao ay maaaring malaking tulong sa isang awtomatikong APR system, gamit ang ChatGPT bilang paraan upang gawin ito," ang isinulat ng mga mananaliksik.

"Sa kabila ng kahusayan nito, ang tanong ay lumilitaw kung ang mental na gastos na kinakailangan upang patunayan ang mga sagot ng ChatGPT ay higit pa sa mga kahalagahan na dala ng ChatGPT."