Scraping to automatyczne zbieranie stron i danych: karty produktów, ceny, stany, wpisy bloga, pliki dokumentacji, endpointy API. Skutek: ruch na serwerze rośnie, sprzedaż nie, a opisy lądują na obcej domenie albo w modelu, który cytuje Twój tekst.
robots.txt jest umową z grzecznymi agentami. Scraper komercyjny go nie czyta. Wtedy liczy się krawędź i limit na serwerze sklepu.
Po co chronić treść
Stosujesz to, gdy katalog i poradniki są kopiowane na obce domeny, do porównywarek albo do treningu modelu. Osobno: crawlerzy OpenAI, Anthropic, ByteDance. To, co ma być w Google, nie musi iść do treningu.
Fałszywa kopia sklepu, inna domena i te same zdjęcia, to już sprawa DNS i prawna. Ops zbiera log: skąd, jaką ścieżką, ile żądań.
Jak to ustawić
W robots.txt: wpuść Googlebota na katalog. Zablokuj checkout, konto i panel. Dla botów treningowych zablokuj całość, jeśli treść nie ma iść do modelu. To nie zatrzyma złego scrapera. Porządkuje grzecznych.
W Cloudflare na listing i blog: niska ocena bota dostaje wyzwanie. Limit kilkudziesięciu żądań na minutę na IP na listing. Cache kategorii może oddawać HTML bez PHP, treść i tak wycieka, więc cache nie zastępuje blokady.
Na Magento limit na GraphQL. Na WordPressie wyłącz xmlrpc, jeśli go nie używasz. Porównaj log z doby przed zmianą i po. Notatka o crawlerach AI: zagrożenia AI. Krawędź: security.
W skrócie: grzecznych botów ogarnia robots.txt. Resztę tnie limit i krawędź. Cache odciąża serwer, ale nie chroni treści.