Kartoita sivut
Erota julkiset sivut, niiden näyttämiseen tarvittavat resurssit, yksityiset alueet ja itsenäistä arvoa vailla olevat versiot.
OPAS / MENETELMÄ
Tekoälyhakurobottien pääsyn hallinta
Selkeä pääsypolitiikka alkaa kunkin julkisen sivun käyttötarkoituksesta, ei robottien nimiluettelosta.
Suora vastaus
Miten tekoälyyn liittyvien robottien pääsyä hallitaan?
Määritä, mitkä sivut saa löytää, mitkä voivat näkyä haussa ja mitkä suljetaan tietyn käytön ulkopuolelle. Toteuta päätökset robots.txt-tiedostossa, sivun direktiiveissä ja palvelimen vastauksissa sekä testaa todellinen pääsy.
01 / Tarkistusmenetelmä
Tarkistusmenetelmä
Päätä käyttötarkoitus
Määritä pääsy tavalliseen hakuun, tekoälyhakuun ja koulutusaineiston keruuseen toimijoiden dokumentoimien robottien mukaan.
Tarkista vastaus
Testaa HTTP-tila, robots.txt, uudelleenohjaukset, meta robots tai X-Robots-Tag ja toimitettu HTML eri kielillä.
Tarkkaile varoen
Vertaa palvelinlokeja, verkkovastaavan työkaluja ja viittausliikennettä. Käynti ei todista indeksointia tai lainausta.
02 / Säilytettävä näyttö
Säilytettävä näyttö
Päivätty sääntö
Tallenna direktiivin versio, päivä ja peruste.
Testattu URL
Kirjaa tarkka sivu, tila, canonical ja sivukohtaiset säännöt.
Tunnistettu robotti
Erota ilmoitetut haku-, esikatselu- ja koulutusrobotit.
Havaittu tulos
Dokumentoi saavutettavuus ja käytettävissä olevien työkalujen havainnot.
03 / FAQ
Usein kysytyt kysymykset
Takaako OAI-SearchBotin salliminen lainauksen?
Ei. Se mahdollistaa pääsyn, jota mahdollinen näkyminen ChatGPT-haussa edellyttää, mutta ei takaa lainauksia.
Voiko haun ja koulutuksen erottaa?
Kyllä, jos toimija dokumentoi erilliset robotit. Tarkista nimet ja toiminta virallisista ohjeista.
04 / Viralliset lähteet