Roboty modeli językowych respektują robots.txt tak samo jak roboty wyszukiwarek - więc plik, który ich nie przewiduje, rozstrzyga o widoczności, choć nikt takiej decyzji świadomie nie podejmował. Najczęstszy przypadek to nie celowa blokada, tylko konfiguracja domyślna, która powstała, zanim ci agenci w ogóle istnieli.
Dwie różne role, które pełnią te roboty
Rozróżnienie jest kluczowe, bo decyzja o wpuszczeniu bywa inna dla każdej z tych grup, a bywają mylone.
| Pobieranie do trenowania | Robot zbiera treść, która może posłużyć do uczenia modelu - efekt jest odroczony i trudny do zmierzenia |
|---|---|
| Odwiedziny w czasie odpowiedzi | Robot wchodzi na stronę w momencie, gdy użytkownik zadał pytanie - od tego zależy, czy zostaniemy zacytowani tu i teraz |
Blokada pierwszej grupy jest decyzją o charakterze własnościowym: nie chcemy, żeby nasza treść uczyła cudzy model. Blokada drugiej grupy jest decyzją o widoczności: rezygnujemy z pojawiania się w odpowiedziach. Te dwie rzeczy warto rozstrzygać osobno, bo mają zupełnie inne konsekwencje biznesowe.
W praktyce firma, której zależy na widoczności w asystentach, wpuszcza obie grupy - a rozważa ograniczenia dopiero wtedy, gdy publikuje treści o wyjątkowej wartości, których nie chce oddawać za darmo. Dla bazy wiedzy budowanej po to, żeby być cytowaną, blokada jest sprzeczna z celem.
Jak sprawdzić, co masz teraz
Sprawdzenie zajmuje minutę i nie wymaga żadnego narzędzia: wystarczy otworzyć adres domeny zakończony na `/robots.txt` i przeczytać, co tam jest. Interesują nas trzy rzeczy.
- Czy istnieje reguła blokująca wszystko dla nieznanych agentów - taka reguła obejmie również roboty modeli.
- Czy poszczególni agenci są wymienieni z nazwy - brak wpisu oznacza, że obowiązuje reguła ogólna.
- Czy plik w ogóle jest osiągalny - brak pliku bywa lepszy niż plik z błędną regułą, ale utrudnia kontrolę.
Co zrobić, gdy zależy nam na widoczności
Najprostsze rozwiązanie to wypisanie agentów z nazwy i jawne zezwolenie dla każdego z nich, zamiast polegania na regule ogólnej. Jest bardziej rozwlekłe, ale ma dwie zalety: jest odporne na zmianę reguły domyślnej i czytelne dla każdego, kto ten plik później otworzy.
Warto przy tym pamiętać, że lista agentów się zmienia - pojawiają się nowe systemy, a istniejące zmieniają nazwy robotów. Plik napisany raz i pozostawiony na rok zwykle nie obejmuje części nowych agentów. Przegląd raz na kwartał wystarcza, żeby nadążyć.
Druga rzecz do sprawdzenia przy tej okazji: czy w pliku jest wskazana mapa witryny. To pojedyncza linia, która ułatwia rozpoznanie struktury serwisu i nie kosztuje nic. Pozostałe elementy przygotowania strony opisuje strona AI-ready.
Czego robots.txt nie załatwi
Wpuszczenie robotów jest warunkiem koniecznym, nie wystarczającym. Dostęp otwiera możliwość zacytowania; o tym, czy do niego dojdzie, decyduje treść - czy odpowiada na pytanie i czy da się ją wyciąć w całości. Strona wpuszczająca wszystkich agentów, ale bez treści merytorycznej, nie zyska nic.
Nie jest to też mechanizm bezpieczeństwa. Plik jest prośbą, którą uczciwi operatorzy respektują, a nieuczciwi ignorują. Treści, które naprawdę nie mają być dostępne, chroni się uwierzytelnianiem, nie wpisem w pliku tekstowym.
Jak rozpoznać, czy roboty faktycznie wchodzą
Wpis w pliku to deklaracja; dowodem są logi serwera. Jeśli po otwarciu dostępu chcemy wiedzieć, czy cokolwiek się zmieniło, jedynym miarodajnym źródłem jest zapis żądań po stronie serwera - widać w nim nazwę agenta, adres i moment wejścia.
Przy hostingu bez dostępu do logów zostaje obserwacja pośrednia: czy treść zaczyna pojawiać się w odpowiedziach asystentów przy pytaniach z kategorii. To sygnał wolniejszy i mniej jednoznaczny, ale przy braku logów jedyny dostępny. Statystyki odwiedzin z narzędzi analitycznych zwykle nie pomogą, bo część robotów nie uruchamia skryptu zliczającego.
Warto sprawdzić logi po każdej zmianie w pliku, a nie tylko przy pierwszym wdrożeniu. Reguła dopisana z literówką w nazwie agenta wygląda w pliku poprawnie, a działa jak jej brak - i bez logów nikt tego nie zauważy.
Decyzja, którą warto podjąć świadomie
Wpuszczenie robotów modeli oznacza zgodę na to, że treść firmy będzie cytowana bez kliknięcia - i to jest realny koszt, nie tylko korzyść. Użytkownik dostaje odpowiedź w asystencie i nie wchodzi na stronę, więc ruch nie rośnie, choć marka jest wymieniana.
Dla bazy wiedzy budowanej po to, żeby zbudować rozpoznawalność, to wymiana korzystna: wzmianka u źródła, któremu użytkownik ufa, bywa warta więcej niż wejście na stronę. Dla serwisu utrzymującego się z wyświetleń reklam rachunek wygląda odwrotnie i decyzja może być inna.
Warto tę decyzję podjąć świadomie i zapisać jej powód, zamiast dziedziczyć konfigurację z szablonu. Zmiana modelu biznesowego bywa powodem, żeby do niej wrócić.
Plik robots.txt rozstrzyga o dostępie i jest pierwszym miejscem do sprawdzenia, gdy firma nie pojawia się w odpowiedziach asystentów. Wpuszczenie agentów nie gwarantuje cytowania, ale ich zablokowanie gwarantuje jego brak - i właśnie dlatego domyślna konfiguracja odziedziczona z szablonu bywa najkosztowniejszym ustawieniem w całym serwisie.
Dlatego reguły warto pisać przez wymienianie agentów z nazwy, a nie przez blokadę ogólną z wyjątkami - wtedy widać dokładnie, kogo dopuszczamy, a pomyłka nie obejmuje przypadkiem robota wyszukiwarki.