Nova Cloudflare inicijativa ima za cilj da ograniči pristup AI kompanija podacima sa web sajtova kroz identifikaciju i filtriranje specifičnih crawlera
Cloudflare, jedan od vodećih pružalaca internet sigurnosnih i infrastrukturnih rešenja, najavio je uvođenje novih pravila za filtriranje web crawlera koji prikupljaju podatke u ime kompanija koje razvijaju veštačku inteligenciju. Ova promena dolazi kao odgovor na sve veći broj AI firmi koje koriste crawler softver za indeksiranje i preuzimanje velikih količina javno dostupnih podataka sa sajtova širom sveta.
Kompanija ističe da je cilj ove mere zaštita vlasnika web sajtova i kontrola načina na koji se njihovi podaci koriste u procesu treniranja LLM (Large Language Model) sistema. Cloudflare planira da automatski blokira ili filtrira poznate identifikatore crawlera koji su povezani sa AI kompanijama, omogućavajući vlasnicima sajtova veću kontrolu nad sopstvenim sadržajem. Ova funkcionalnost će biti integrisana u postojeće Cloudflare alate i može se dodatno prilagoditi prema potrebama svakog korisnika.
Uz rast popularnosti i komercijalizacije AI alata, pitanje etičkog i pravnog korišćenja podataka postaje sve relevantnije. Mnoge AI kompanije koriste javno dostupne podatke za treniranje svojih LLM modela, što izaziva zabrinutost kod vlasnika sajtova i izdavača zbog načina na koji se njihovi podaci koriste i potencijalnih posledica po privatnost i autorska prava. Cloudflare ovim potezom želi da ponudi transparentnost i mogućnost ograničavanja pristupa za određene vrste crawlera, posebno onih koji služe velikim AI kompanijama.
Ova najava dolazi u trenutku kada raste globalna diskusija o tome kako regulisati korišćenje podataka u AI industriji i kako omogućiti vlasnicima sajtova da bolje zaštite svoje interese. Cloudflare tako odgovara na zahteve tržišta i korisnika za efikasnijim načinima kontrole pristupa podacima, posebno u kontekstu sve veće upotrebe web scraping tehnologija od strane AI sektora.
