Det korte svaret
Å holde en side ute av søk, be crawlere om ikke å hente den og begrense hvem som kan åpne den er forskjellige jobber. Robots.txt og noindex beskytter ikke konfidensiell informasjon. Velg kontrollen basert på det tiltenkte resultatet, og bruk reell tilgangsbeskyttelse når kun autoriserte personer skal se innholdet.
Tre mål som trenger ulike kontroller
Et privat forslag lastes opp på nettsiden. Noen legger til en regel i robots.txt og kaller den skjult. Andre steder er en gammel offentlig side blokkert fra å gjennomgå fordi teamet vil at den skal fjernes fra søkeresultatene.
Begge handlingene høres fornuftige ut helt til du spør hva den besøkende eller søkemotoren fortsatt kan gjøre. Personvern, gjennomgang og indeksering trenger separate avgjørelser. Å forvirre dem kan gjøre privat innhold tilgjengelig eller stoppe en søkemotor fra å lese selve instruksjonen som er ment å fjerne en side.
Start med hvem som skal få åpne siden
Hvis et dokument inneholder konfidensiell kunde- eller forretningsinformasjon, er det første spørsmålet tilgang. En person som kjenner URL-en skal ikke kunne åpne den uten den nødvendige tillatelsen. En crawler-preferanse er ikke en tilgangssjekk.
Be om en demonstrasjon i en avlogget nettleser eller med en konto som ikke skal ha tilgang. Den nøyaktige beskyttelsen avhenger av systemet, men resultatet bør være observerbart: uautoriserte besøkende kan ikke hente det private innholdet. Ikke stol på et uklart filnavn.
Et bearbeidet eksempel
Anta at en bedrift trenger et privat kundeforslag og en egen offentlig begivenhetsside som ikke lenger skal vises i søk.
Hvor det går galt
Blokker begge nettadressene i robots.txt og beskriv dem som private og fjernet.
Hva du skal gjøre i stedet
Beskytt forslaget med faktiske tilgangskontroller. Velg og bekreft riktig indekseringsatferd for den offentlige siden, slik at søkemotoren kan lese instruksjonene der det er nødvendig.
Kontrollene samsvarer med to forskjellige utfall. Konfidensialitet avhenger ikke lenger av at en søkerobot følger en preferanse.
Bestem deretter hva som skal skje i søk
Robots.txt forteller først og fremst samarbeidende søkeroboter hvilke nettadresser de kan hente. En blokkert URL kan fortsatt vises i Google basert på annen informasjon. Noindex forteller en støttende søkemotor om ikke å indeksere en side den kan hente og behandle.
Disse kontrollene kan komme i konflikt. Hvis gjennomsøking er blokkert, kan ikke Google lese en noindex-instruksjon på siden. Å legge til begge uten å vurdere den sekvensen kan undergrave det tiltenkte resultatet. Be implementeren om å forklare den kombinerte atferden, i stedet for å telle antall restriksjoner.
Bekreft det tiltenkte resultatet etter endringen
Adgangsbeskyttelse kan kontrolleres direkte. Fjerning av søk involverer en søkemotors behandling og vises kanskje ikke umiddelbart. Skill disse resultatene i overleveringen slik at "konfigurasjon lagt til" ikke forveksles med "fjernet fra hvert resultat".
For offentlige sider, vurder også om fjerning er riktig avgjørelse. En utdatert side kan trenge en nøyaktig oppdatering eller en relevant erstatning. Velg kontrollen etter å ha bestemt hva som skal skje med folk som fortsatt følger en gammel lenke.
Ta dette inn i din neste samtale
Spørsmål å stille byrået ditt
- Bør noen med URL kunne åpne denne?
- Kontrollerer vi tilgang, gjennomgang eller indeksering?
- Kan søkemotoren lese fjerningsinstruksjonen?
- Hvilke bevis beviser hvert tiltenkte utfall?
Vanlige spørsmål
Er en uoppført URL privat?
Nei. Lenker kan deles eller oppdages. Hvis innholdet krever tillatelse, håndhev den tillatelsen når noen ber om det.
Vil noindex fjerne et resultat umiddelbart?
Ikke anta det. Søkemotorer må behandle instruksjonen. Rapporter konfigurasjonen og den observerte søketilstanden separat.
Kildenotater
Plattformveiledning bak dette emnet:
Fra forklaring til gjennomføring
Denne veiledningen er utgitt av NAVIFLARE, et nettsted, praksis for arbeidsflyt for CRM og AI. Kildenotater identifiserer plattformveiledningen; bearbeidede eksempler forklarer en metode i stedet for å kreve et klientresultat.
Utforsk webdesign og utviklingDitt neste skritt
Identifiser de involverte sidene og skriv ned hvem som skal åpne dem og om de skal vises i søk. Det gir et konkret utgangspunkt for å diskutere de riktige nettstedskontrollene.
Diskuter sidetilgang og søk
