AI har sagts kommer att revolutionera arbetet med att skriva kod. Standardkod, kod som ska upprepas och liknande ska kunna skrivas med AI för att snabbare skapa nya program, appar och funktioner. En färsk studie visar dock att 52 procent av AI-producerad kod innehåller fel.

På senare år så har programmerare börjat att använda ChatGPT och liknande chatbottar för att skriva kod. Det har också lett till att kodare, programmerare har sagts upp. Deras tjänster behövs inte längre då enklare kod, standardkod, kan skrivas med hjälp av AI. Nu visar en färsk studie från från Purdue University, på konferensen Computer-Human Interaction, att 52 procent av programmeringssvaren som genereras av ChatGPT är felaktiga.

Upptäcks inte

Vad värre är – detta upptäcker inte den mänskliga programmeraren – felen slinker med i den färdiga koden.

I studien tittade forskarna på 517 frågor i Stack Overflow och analyserade ChatGPT:s försök att besvara dem.

”Vi fann att 52 procent av ChatGPT-svaren innehåller felaktig information, 77 procent av svaren är mer utförliga än mänskliga svar, och 78 procent av svaren lider av olika grader av inkonsekvens med mänskliga svar.”

Många mänskliga programmerare tycks föredra de svar de får från ChatGPT än andra källor. Forskarna tillfrågade 12 programmerare – en liten grupp ska understrykas – och fann att 35 procent föredrog ChatGPT AI-genererade svar och att 39 procent av utvecklarna missade de fel som AI-genrerad kod innehöll.

”We found that 52 percent of ChatGPT answers contain misinformation, 77 percent of the answers are more verbose than human answers, and 78 percent of the answers suffer from different degrees of inconsistency to human answers.”

Rapporten