I en video (se nedan) så meddelar Mark Zuckerberg att Metas nya version av sin AI-lösning, Llama 4, ”Maverick” är mycket snabbare än konkurrenterna. ”It´s a beast!” säger Zuckerberg i videon.
Några timmar efter beskedet om lanseringen så avslöjades Meta med att fuska. Den testade modellen var modifierad och när en omodifierad modell testades så landar den på … plats 32.
View this post on Instagram
Den testade versionen skiljer sig nämligen från den version som har släppts till utvecklare.
One of the new flagship AI models Meta released on Saturday, Maverick, ranks second on LM Arena, a test that has human raters compare the outputs of models and choose which they prefer. But it seems the version of Maverick that Meta deployed to LM Arena differs from the version that’s widely available to developers.
As several AI researchers pointed out on X, Meta noted in its announcement that the Maverick on LM Arena is an “experimental chat version.” A chart on the official Llama website, meanwhile, discloses that Meta’s LM Arena testing was conducted using “Llama 4 Maverick optimized for conversationality.”
