Kumuha ng MBA exam ang ChatGPT. Narito kung paano ito ginawa

Isang propesor sa Wharton, University of Pennsylvania ang nagbigay ng teoretikal na B-grade pass sa ChatGPT pagkatapos markahan ang mga sagot na nabuo nito para sa panghuling pagsusulit sa karaniwang kursong MBA.

Si Christian Terwiesch, isang propesor ng pamamahala sa pagpapatakbo sa Wharton, ay nagsabi na ang ChatGPT ay gumagawa ng "kamangha-manghang trabaho sa mga pangunahing katanungan sa pamamahala ng operasyon at pagsusuri ng proseso."

"Hindi lamang ang mga sagot ay tama, ngunit ang mga paliwanag ay mahusay," isinulat niya sa isang bagong puting papel.

Gayundin: Paano magsimula sa paggamit ng ChatGPT

Ngunit idinagdag niya na ang chatbot ay gumagawa ng "nakakagulat na mga pagkakamali sa medyo simpleng mga kalkulasyon sa antas ng ika-6 na baitang Math," at sa kasalukuyan ay hindi nito kayang pangasiwaan ang mas advanced na mga tanong sa pagsusuri sa proseso. Sa kabilang banda, maaaring baguhin ng kasalukuyang bersyon ng ChatGPT ang mga sagot nito bilang tugon sa mga pahiwatig ng tao upang makarating sa tamang solusyon.

"Kung isasaalang-alang ang pagganap na ito, ang Chat GPT3 ay makakatanggap sana ng B hanggang B- na grado sa pagsusulit," isinulat ni Terwiesch.

Ang ilan sa mga tanong ni Terwiesch ay naglalayong subukan kung ang ChatGPT ay maaaring tumukoy ng isang bottleneck sa isang operasyon sa pagpoproseso na may maraming mga makina na may iba't ibang mga kapasidad ng throughput.

Ang ChatGPT, gayunpaman, ay "nakagawa ng isang malaking pagkakamali ng napakalaking magnitude" kapag kinakalkula gamit ang medium level na arithmetic.

Kapansin-pansin, ang ChatGPT sa una ay mali ang sagot sa isa sa tanong ni Terwiesch tungkol sa pagsusuri ng queuing. Sinenyasan niya ito ng isang pahiwatig para sa isang mas mahusay na sagot at pinahusay ng ChatGPT ang sagot nito. Nang sumunod na araw, tinanong ito ng propesor ng parehong paunang tanong sa pagpila nang walang pahiwatig -- at sumagot ang ChatGPT nang tama sa unang pagtatangka nito.

"Maaaring may kakayahang matuto mula sa nakaraang feedback o masuwerte lang ako," sabi niya, at idinagdag na tila may ilang randomness sa kalidad ng mga sagot nito.

Natagpuan din ni Terwiesch na ang ChatGPT ay nakapagbalangkas ng matatalino at nakakatawang mga tanong na magagamit niya sa mga pagsusulit sa hinaharap. Gayunpaman, ang chatbot ay nagpakilala din ng mga banayad na kapintasan sa ilang mga tanong na naging dahilan upang hindi sila masagot.

Gayundin: ChatGPT 'kulang sa lalim at pananaw,' sabi ng mga prestihiyosong editor ng journal sa agham

Binabalaan ni Terwiesch ang iba na maging maingat sa mga kakayahan at limitasyon ng ChatGPT. Sinabi niya na "nahulog siya sa pag-ibig" sa ChatGPT pagkatapos basahin ang sagot nito sa kanyang unang tanong, ngunit nagbabala ito na "nakagawa ng malalaking pagkakamali sa ilang medyo simpleng sitwasyon."

"Malayo pa rin kami sa isang A+ para sa mga kumplikadong problema at kailangan pa rin namin ng isang tao sa loop," isinulat niya.

"Sa aking pananaw sa edukasyon, kailangan pa ring matutunan ng isang mag-aaral sa elementarya na 7 x 7 = 49 at na ang kabisera ng Pennsylvania ay Harrisburg, kahit na ang mga calculator ay malawakang ginagamit sa loob ng mahigit 50 taon at magagamit ng mga mag-aaral ang Google Wikipedia upang makahanap ng mga sagot. para sa karamihan ng mga makatotohanang tanong. Ito ay ang likas na katangian ng mga kasanayan sa pundasyon na kinakailangan nilang maunawaan ang mga mas advanced na paksa."

Sumasang-ayon si Terwiesch na ang mga tagapagturo ay dapat mag-alala na ang mga mag-aaral ng K-12 ay maaaring gumamit ng ChatGPT upang mandaya sa mga takdang-aralin at pagsusulit. Halimbawa, kamakailan ay ipinagbawal ng Kagawaran ng Edukasyon ng Lungsod ng New York ang chatbot dahil mahalaga ang mga mapagkakatiwalaang pagsusulit sa pagtuturo, habang hindi dapat ikompromiso ang sertipikasyon ng kasanayan dahil sa bagong teknolohiya. Ang isang mag-aaral na gumagamit ng ChatGPT ay tulad ng kakayahang tumawag sa isang kaibigan na may "average na kakayahan sa akademya" upang kumpletuhin ang pagsusulit para sa kanila, sabi niya.

Ngunit naninindigan din siya na ang ChatGPT at ang mga katulad na teknolohiya ay may kakayahang gampanan ang papel ng isang "matalinong consultant" -- isa na gumagawa ng matikas ngunit madalas na maling mga sagot, na pinaniniwalaan niyang "perpektong lugar ng pagsasanay" para sa pagbuo ng mga kasanayan sa mga mag-aaral ng MBA na nangangailangan. upang kritikal na suriin ang mga iminungkahing alternatibo.