Eerder schreef ik dat ik AI-crawlers blokkeer en waarom. Daarin stond ook een aanbeveling om ze niet alleen op je robots.txt te vertrouwen, maar ze ook in je firewall te blokkeren.
Je kunt wel nagaan hoe "verbaasd" ik was toen bleek dat er toch nog crawlers door de firewall geblokkeerd werden. 😉
https://roelant.net/2024/ik-blokkeer-ai-crawlers-deel-2/
#AI #blog
npub1w0…70rmr
2024-04-09 17:17:21
Author Public Key
npub1w02dfsz8jh03k076c5ng6pcen0u6khy5stqajm2mr5zr2nqrs3ws770rmrPublished at
2024-04-09 17:17:21Event JSON
{
"id": "ff4da3616458f635297dd0c57918d12c23178102085890df914edce3f37b145b",
"pubkey": "73d4d4c04795df1b3fdac5268d07199bf9ab5c9482c1d96d5b1d04354c03845d",
"created_at": 1712675841,
"kind": 1,
"tags": [
[
"t",
"ai"
],
[
"t",
"blog"
],
[
"proxy",
"https://mastodon.social/users/Roelant/statuses/112241923961739590",
"activitypub"
]
],
"content": "Eerder schreef ik dat ik AI-crawlers blokkeer en waarom. Daarin stond ook een aanbeveling om ze niet alleen op je robots.txt te vertrouwen, maar ze ook in je firewall te blokkeren. \n\nJe kunt wel nagaan hoe \"verbaasd\" ik was toen bleek dat er toch nog crawlers door de firewall geblokkeerd werden. 😉\n\nhttps://roelant.net/2024/ik-blokkeer-ai-crawlers-deel-2/\n\n#AI #blog",
"sig": "a9b919c0f35754f9187f586a405940eea5cb7abd43c031d79722223e0d00163a5fa78f3b94fbb4625b3dc6589dab32cd8f962ac45081a87709936faffb48c964"
}