I professori di giurisprudenza dell’Università del Minnesota hanno condotto uno studio in cui hanno valutato alla cieca i test finali per gli esami di laurea sostenuti insieme a quelli degli studenti effettivi, anche da ChatGPT, il chatbot sviluppato da OpenAI grazie all’implementazione dei suoi elaboratissimi algoritmi di intelligenza artificiale ed apprendimento automatico.
Il ChatGPT sta conquistando un posto di rilievo in tutti i dibattiti televisivi dopo che diverse scuole pubbliche di New York City hanno deciso ufficialmente di bandire l’utilizzo del chatbot dai dispositivi scolastici e dalle reti WiFi per timore di imbrogli. Anche perché i professori stavano riscontrando che i compiti ed i test erano accomunati da elevati punti di uniformità e elementi troppo simili per essere una pura casualità, e che quindi gli studenti si affidavano a software di intelligenza artificiale per eseguire i test e gli esami.
I proffessori Choi, Monahan, Schwarcz e Hickman della facoltà di giuriprudenza hanno condotto uno studio in cui ChatGPT ha superato i quattro esami della facoltà di giurisprudenza, con un media C+.
SSRN-id4335905Gli esami erano costituiti da un totale di 95 domande a scelta multipla e 12 domande a risposta libera. Il Chatbot sviluppato da OpenAI, grazie alla capacità di elaborare in tempi velocissimi un’enorme quantità di dati e di informazioni che permettono all’algoritmo di machine learning di migliorare costantemente e affinare la sua capacità di auto apprendimento, si è dimostrato in grado di eseguire meglio i test a risposta libera.
A study by Profs. Choi, Monahan, Schwarcz, & Hickman in which ChatGPT averaged a passing C+ grade on four Law School exams garnered a mention on NBC Nightly News with Lester Holt. Read their paper, “ChatGPT Goes to Law School” https://t.co/nN8MMcm4YW #ArtificialIntelligence pic.twitter.com/uZE3O0FP7o
— University of Minnesota Law School (@UofMNLawSchool) January 25, 2023
ChatGPT è stato in grado di comprendere i concetti di base, ma ha faticato ad applicare le conoscenze in come avrebbe fatto un vero studente di giurisprudenza.
Il risultato finale del test è ancora al di sotto della media umana all’università che si colloca su una votazione media di B+. Mentre ChatGPT ha conseguito una votazione media di C+, che anche se mediocre sarebbe sufficiente per conseguire una laurea in giurisprudenza.
🚨🚨 new white paper! We used ChatGPT to write exams and graded them blind alongside real law students at Minnesota. ChatGPT got a C+ average and a low but passing grade in Con Law, Employee Benefits, Tax, Torts. 1/5 https://t.co/sN8uW4qtnR
— Jon Choi (@JonathanHChoi) January 24, 2023
Come dichiarato dal professor Jonathan Choi, membro del team di studio che ha realizzato la ricerca “Da solo, ChatGPT sarebbe uno studente di giurisprudenza piuttosto mediocre. Il potenziale per l’applicazione di tale strumento alla professione di un avvocato è data dalla possibilità per un avvocato di utilizzare ChatGPT per produrre una prima bozza approssimativa e migliorare l’efficacia della propria attività professionale”.
Professor @JonathanHChoi was recently interviewed by India’s @sansad_tv on a paper that he co-authored demonstrating that ChatGPT can achieve minimally passing grades on law school school exams https://t.co/I1UjNvsbpw #ArtificialIntelligence #ChatGPT
— University of Minnesota Law School (@UofMNLawSchool) January 29, 2023
