Sökfunktioner med AI-lösningar blir alltmer populära och det har sagts att AI-baserade sökmotorer snart helt kommer att ersätta dagens sökmotorer, DuckDuckGo, Google med flera. En undersökning gjord av Tow Center for Digital Journalism visar dock att de tjänster som finns idag är allt annat än pålitliga, tvärtom de har, mycket ofta fel.
Tow Center for Digital Journalism testade dagens tjänster, AI-sökfunktioner, och jämförde med de mer traditionella sökmotorerna och kontrollerade sedan riktigheten i de svar som presenterades.
Slutsatser:
- Chatbotar var generellt dåliga på att vägra svara på frågor som de inte kunde besvara korrekt, utan erbjöd felaktiga eller spekulativa svar istället.
- Premium chatbotar gav flera felaktiga svar än deras gratis-versioner
- Flera chatbotar verkade kringgå inställningarna för Robot Exclusion Protocol.
- Generativa sökverktyg tillverkade länkar och citerade syndikerade och kopierade versioner av artiklar.
- Innehållslicenser handlar om nyhetskällor som inte ger någon garanti för korrekt citering i chatbot-svar.
Noterbart är att det tydligen inte lönar sig att betala för AI-tjänsterna, sökfunktionerna. Betalversionerna har mer fel än gratisversionerna.
Testen
Testen gjordes genom att tio slumpmässigt artiklar valdes från varje förlag och sedan valdes direkta utdrag ut från dessa artiklar för användning i våra frågor. Efter att ha försett varje chatbot med de valda utdragen bad vi den att identifiera motsvarande artikels rubrik, originalutgivare, publiceringsdatum och URL. Utdragen valdes utifrån att när samma text matades in i Googles sökmotor så gavs rätt svar inom tre visade länkar.
Vi körde sextonhundra frågor (tjugo förlag gånger tio artiklar gånger åtta chatbots) totalt. Vi utvärderade manuellt chatbot-svaren baserat på tre attribut: hämtning av (1) rätt artikel, (2) rätt utgivare och (3) rätt URL. Enligt dessa parametrar markerades varje svar med en av följande etiketter:
Som synes så missade AI-funktionerna betydligt oftare än de visade rätt information, gav rätt svar.
