La risposta breve
Mantenere una pagina fuori dai risultati di ricerca, chiedere ai crawler di non recuperarla e limitare chi può aprirla sono compiti diversi. Robots.txt e noindex non proteggono le informazioni riservate. Scegli il controllo in base al risultato previsto e utilizza la protezione dell'accesso reale quando solo le persone autorizzate possono vedere il contenuto.
Tre gol che necessitano di controlli diversi
Una proposta privata viene caricata sul sito web. Qualcuno aggiunge una regola a robots.txt e la definisce nascosta. Altrove, una vecchia pagina pubblica viene bloccata dalla scansione perché il team vuole che venga rimossa dai risultati di ricerca.
Entrambe le azioni sembrano ragionevoli finché non ti chiedi cosa può ancora fare il visitatore o il motore di ricerca. Privacy, scansione e indicizzazione necessitano di decisioni separate. Confonderli può lasciare accessibili i contenuti privati o impedire a un motore di ricerca di leggere le stesse istruzioni destinate a rimuovere una pagina.
Inizia con chi dovrebbe essere autorizzato ad aprire la pagina
Se un documento contiene informazioni riservate su clienti o aziende, la prima domanda è l'accesso. Una persona che conosce l'URL non dovrebbe essere in grado di aprirlo senza l'autorizzazione richiesta. Una preferenza del crawler non è un controllo di accesso.
Richiedi una dimostrazione in un browser disconnesso o con un account a cui non dovrebbe essere consentito l'accesso. La protezione esatta dipende dal sistema, ma il risultato dovrebbe essere osservabile: i visitatori non autorizzati non possono recuperare il contenuto privato. Non fare affidamento su un nome di file oscuro.
Un esempio pratico
Supponiamo che un'azienda abbia bisogno di una proposta per un cliente privato e di una pagina di eventi pubblici separata che non dovrebbe più apparire nella ricerca.
Dove va storto
Blocca entrambi gli URL nel file robots.txt e descrivili come privati e rimossi.
Cosa fare invece
Proteggi la proposta con controlli di accesso effettivi. Scegliere e verificare il comportamento di indicizzazione appropriato per la pagina pubblica, consentendo al motore di ricerca di leggere le istruzioni dove richiesto.
I controlli corrispondono a due risultati distinti. La riservatezza non dipende più dal crawler di ricerca che segue una preferenza.
Quindi decidi cosa dovrebbe accadere nella ricerca
Robots.txt indica principalmente ai crawler che collaborano quali URL possono recuperare. Un URL bloccato può comunque essere visualizzato su Google in base ad altre informazioni. Noindex dice a un motore di ricerca di supporto di non indicizzare una pagina che può recuperare ed elaborare.
Tali controlli possono entrare in conflitto. Se la scansione è bloccata, Google non può leggere un'istruzione noindex sulla pagina. L'aggiunta di entrambi senza considerare la sequenza può compromettere il risultato desiderato. Chiedere all'implementatore di spiegare il comportamento combinato, anziché contare il numero di restrizioni.
Verificare il risultato previsto dopo la modifica
La protezione dell'accesso può essere verificata direttamente. La rimozione della ricerca implica l'elaborazione da parte di un motore di ricerca e potrebbe non essere visualizzata immediatamente. Separare questi risultati nel passaggio di consegne in modo che "configurazione aggiunta" non venga confusa con "rimossa da ogni risultato".
Per le pagine pubbliche, valuta anche se la rimozione è la decisione giusta. Una pagina obsoleta potrebbe richiedere un aggiornamento accurato o una sostituzione rilevante. Scegli il controllo dopo aver deciso cosa dovrebbe accadere alle persone che seguono ancora un vecchio collegamento.
Portalo nella tua prossima conversazione
Domande da porre alla tua agenzia
- Qualcuno con l'URL dovrebbe essere in grado di aprirlo?
- Stiamo controllando l'accesso, la scansione o l'indicizzazione?
- Il motore di ricerca può leggere le istruzioni di rimozione?
- Quali prove dimostrano ciascun risultato previsto?
Domande comuni
Un URL non elencato è privato?
No. I collegamenti possono essere condivisi o scoperti. Se il contenuto richiede un'autorizzazione, applica tale autorizzazione quando qualcuno la richiede.
Noindex rimuoverà immediatamente un risultato?
Non dare per scontato che sia così. I motori di ricerca devono elaborare l'istruzione. Riportare separatamente la configurazione e lo stato di ricerca osservato.
Note sulla fonte
Guida alla piattaforma dietro questo argomento:
Dalla spiegazione alla realizzazione
Questa guida è pubblicata da NAVIFLARE, un sito Web, una pratica di flusso di lavoro CRM e AI. Le note sulla fonte identificano la guida della piattaforma; gli esempi funzionanti spiegano un metodo piuttosto che rivendicare un risultato del cliente.
Esplora progettazione e sviluppo di siti webIl tuo prossimo passo
Identifica le pagine coinvolte e scrivi chi dovrebbe aprirle e se dovrebbero apparire nella ricerca. Ciò fornisce un punto di partenza concreto per discutere i controlli corretti del sito Web.
Discuti l'accesso alla pagina e la ricerca
