AI-lösningar kräver att de tränas på befintlig information och utvecklarna har därför skapat automatiska funktioner som samlar in enorma mängder data ute på nätet för att träna på. Det betyder att de här AI-lösningarna kan komma på besök och samla in information frpn din blogg, hemsida eller webbplats. Så här stoppar du dem.
Det ska sägas direkt att det inte finns några hundraprocentigt säkra metoder för att stoppa och bli av med AI-crawlers (sökrobot) som de här funktionerna kallas. Det är upptill de olika bolagen och utvecklarna att respektera din önskan, eller inte göra det.
Så här gör du
Det finns flera olika sätt att blockera AI-bolagens sökrobotar – vi börjar med att redigera filen robots.txt:
Robots.txt
Det du kan göra är att lägga in text i filen robots.txt som du sedan lägger i root-katalogen (start-katalogen) för din webbplats. Här är en lista på de sökrobotar som du kan/bör blockera i filen. Innan du skapar robots.txt så titta så att det inte redan finns en fil i din root-katalog. I så fall kan du redigera den direkt.
Disallow: /*/action~*/
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: anthropic-ai
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Omgili
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Teoma
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: Robozilla
Disallow: /
User-agent: Nutch
Disallow: /
User-agent: psbot
Disallow: /
User-agent: SentiBot
Disallow: /
User-agent: sentibot
functions.php
Använder du WordPress så kan du redigera filen functions.php och lägga till de olika namnen på de olika ”crawlers” som används:
add_filter('robots_txt', 'my_robots_commands', 99, 2); // filter to add robots function my_robots_commands($output, $public)
{ $output .= "User-agent: GPTBot\nDisallow: /"
; return $output; } WordPress använder en virtuell robots.txt som skapas och hanteras internt. Det i sin tur innebär att du inte kan skriva in allt i en textfil, robots.txt – utan du får ta en ”omväg” via functions.php.
Du kan även använda en plugin som kan hantera script, skapa en textfil, importera den och få samma funktion. Code Snippets rekommenderas om du väljer den metoden. Du skriver in texten ovan, upprepar den för alla de olika sökrobotar som du vill stoppa. Byt ut GPTBot mot de övriga sökrobotarna. Du hittar namnen ovan – i robots.txt.
Plugin
Den enklaste metoden är att ladda ned och installera en plugin som hanterar filen robots.txt.
Block AI Crawlers blockerar följande sökrobotar:
- ChatGPT och GPTBot – Sökrobotar och webbläsare som används av OpenAI
- Google Extended – Crawler som används för Googles Gemini (tidigare Google Bard) AI-utbildning
- FacebookBot – Crawler som används för Facebooks AI-träning
- CommonCrawl – Crawler som sammanställer datauppsättningar som används för att träna AI-modeller
- Anthropic AI / Claude – Crawler som används av Anthropic
- Omgili – Crawler som används av Omgili för AI-träning
- Bytespider – Crawler som används av TikTolk för AI-träning
- Cohere – Crawler som används av Cohere AI-träning
- DiffBot – Crawler som används av Diffbot för AI-träning
- Imagesift – Sökrobot som används av Imagesift för bilder
Respektera
Oavsett vilken metod du väljer så är det helt upptill de lika bolagen och deras sökrobotar huruvida de respekterar din vilja och önskan eller inte. Kom också ihåg att blockerar du sökrobotarna i robots.txt så betyder inte det att redan insamlad data plockas bort. Har en robot redan hälsat på så är sedan redan skedd så att säga.
0 kommentarer