Brittiska BBC, har gått igenom och analyserat hur de stora AI-lösningarna hanterar, summerar och sammanfattar nyheter och kommit fram till att mycket ofta så förvrängs innehållet i de medierna rapporterar.
En av huvudfunktionerna i Apple Intelligence är att summera och sammanfatta nyheter, hemsidor och annan information och BBC har flera gånger påtalat att Apples AI-lösning lämnar helt felaktiga sammanfattningar.
Nedslående
BBC har gått igenom en stor mängd summeringar som gjorts av flera AI-lösningar och resultatet är nedslående:
• 51 % av alla AI-svar på frågor om nyheterna bedömdes ha betydande problem (felaktigheter) i någon form.
• 19 % av AI-svaren som citerade BBC-innehåll introducerade faktafel – felaktiga fakta, uppgifter, siffror och datum.
• 13 % av citaten från BBC-artiklar var antingen ändrade från originalet källa eller inte finns i den citerade artikeln.
Anmärkningsvärda fel
Ur journalistisk synvinkel så är det mycket anmärkningsvärda fel som lösningarna gör när de ska summera en text eller en färdig rapportering.
- Citat förvrängs eller läggs till trots att de inte finns i den ursprungliga texten.
- Innehållet förvrängs och är på alla avgörande punkter helt felaktigt
När journalister, bland annat de som skrivit texterna, har gått igenom i efterhand för att rangordna problemen så blir betygen för AI-lösningarna låga:
När BBC ställer konkreta frågor till AI-lösningarna så visar det sig att den information de förmedlar inte heller går att lita på. Viktiga fakta utelämnas, förvrängs och är ofullständiga. En del av den information som lämnas kan dessutom anses vara vinklad och allt annat än objektiv.
BBC slutsats är – lita inte på AI-lösningarna.