Moteur de recherche ncipali, mais les Crawlers malveillants et les Crawlers de recherche de faible qualité peuvent lrsquoignorer complètement.
Comment en créer un et où le mettre? Créez votre propre robot. Txt est aussi simple que de créer un fichier texte avec votre éditeur préféré et de lrsquoappeler un robot. Txt. Il suffit de lrsquoenregistrer et avez fini. Sérieusement, crsquoest trop facile. OK, et la deuxième étape: Télécharger par FTP. Les fichiers sont généralement placés dans le dossier d’accueil, même si avez déplacé WordPress dans son répertoire. Une bonne règle de pratique est de le mettre au même endroit que lrsquoindex. Php, attendez que le téléchargement soit terminé et avez terminé. Nrsquooubliez pas que aurez besoin drsquoun fichier robots. Fournir txt pour chaque sous domaine du site et pour différents protocoles tels que HTTPS.
Comment définir les règles à lrsquointérieur drsquoun robot. Fichier txt Passons maintenant un peu de temps à discuter du contenu. Un robot. Txt a sa propre syntaxe pour définir les règles. Ces règles sont également appelées directives. Ensuite, nous verrons comment les utiliser pour faire savoir aux reptiles ce qursquoils peuvent et ne peuvent pas faire sur votre site. Syntaxe robot de base. avez déjà regardé le mot grammaire, ne inquiétez pas, nrsquoavez pas à apprendre un nouveau langage de programmation. Peu de commandes sont disponibles pour les instructions. En fait, pour la plupart des fins, il suffit de savoir deux choses:
Agent utilisateur définir lrsquoinhibition du moteur de recherche dire au crawler de se tenir à lrsquoécart des fichiers, des pages ou des répertoires définis si nrsquoavez pas défini différentes règles pour différents Crawlers ou moteurs de recherche, pouvez utiliser un astérisque (*) pour définir des instructions générales pour tout le monde. Par exemple, pour empêcher tout le monde drsquoaccéder à lrsquoensemble du site, configurerez les robots. Txt est le suivant: User agent: *
Non autorisé: cela signifie essentiellement que tous les moteurs de recherche interdisent tous les répertoires. Notez que les fichiers utilisent des chemins relatifs (au lieu de
Absolument). À cause des robots. Txt réside dans le Répertoire drsquoaccueil et un diagramme à barres indique que cet emplacement et tout ce qursquoil contient ne sont pas autorisés. Pour définir les répertoires individuels, tels que les dossiers médias, comme des répertoires inaccessibles, devriez écrire quelque chose comme WP content uploads . Rappelez également que les chemins sont sensibles à la casse.
cela a du sens pour , pouvez également autoriser et refuser à certains robots lrsquoaccès à certaines parties de votre site. Par exemple, le code suivant dans un robot. Txt permet seulement à Google drsquoaccéder pleinement à votre site, à lrsquoexclusion de tous les autres sites: agent utilisateur: Google bot
Non autorisé:
Agent utilisateur:
Non autorisé: N Veuillez noter que les règles pour un crawler particulier doivent être définies au début du fichier robots. Txt. Vous pouvez ensuite inclure un joker utilisateur agent: * comme instruction catch all pour tous les rampants sans règles explicites. Les noms drsquoagents utilisateurs notables comprennent:
Google BOT – Google Google BOT Pictures – Google Google Google BOT Pictures News – Google News bingbot – Bing Yahoo! Slurp – Yahoo (meilleur choix de nom, Yahoo!) Vous trouverez plus de détails ici: usersagentstring. Com user agent. Encore une fois, Google, Yahoo, Bing et drsquoautres sites Web suivent généralement les lignes directrices de vos fichiers, mais tous les Crawlers ne le font pas. Drsquoautres syntaxe ne permettent pas et lrsquoagent utilisateur nrsquoest pas la seule règle disponible. Voici drsquoautres: autoriser: autoriser explicitement la numérisation des entités sur la carte du site du serveur: Indiquer à crawler où se trouve la carte du site de votre hôte définir la latence de crawl de domaine préférée pour les sites avec plusieurs miroirs définir lrsquointervalle de temps que les moteurs de recherche doivent attendre avant drsquoenvoyer une demande à votre serveur laissez nous discuter avant drsquoautoriser. Une idée fausse courante est que cette règle est utilisée pour dire aux moteurs de recherche de vérifier votre site, donc im
Pour des raisons de référencement. Par conséquent, dans certains fichiers robots. Txt trouvera ce qui suit:
Agent utilisateur:
Autoriser: N cette directive est redondante. Pourquoi? Parce que les moteurs de recherche pensent que tout ce qui nrsquoest pas explicitement interdit sur votre site est juste. Dites leur que ne changerez pas grand chose en permettant à tout le site de ramper. Au lieu de cela, la directive allow est utilisée pour désactiver. Ceci est utile si voulez bloquer lrsquoensemble du Répertoire, mais permettre aux moteurs de recherche drsquoaccéder à un ou plusieurs de ces fichiers spécifiques de la manière suivante: agent utilisateur: *
Autoriser: mon répertoire mes fichiers. Php
Non autorisé: mon répertoire moteur de recherche est généralement loin de mon répertoire, mais mes fichiers sont toujours accessibles. Php. Cependant, il est important de noter que la directive allow doit être insérée avant qursquoelle puisse fonctionner.
Certains Crawlers prennent en charge la directive sitemap. Vous pouvez lrsquoutiliser pour leur dire où trouver la carte du site de votre site, qui ressemble à ceci: http:mysite.comsitemap_index.xml
Plan du site: http:mysite.compost-sitemap.xml
Plan du site: http:mysite.compage-sitemap.xml
Plan du site: http:mysite.comcategory-sitemap.xml
Plan du site: http:mysite.compost_tag-sitemap.xml Cette directive se trouve nrsquoimporte où dans le fichier robots. Txt. En général, le propriétaire du site choisit de le placer au début ou à la fin. Toutefois, son utilité est douteuse. Par exemple, yoast a les idées suivantes:
avez plus drsquoun miroir de site, ominio est votre préféré. Ce dernier définit le nombre de secondes que le crawler doit attendre entre les scans. Étant donné que ni lrsquoun ni lrsquoautre nrsquoest très courant, je nrsquoai pas lrsquointention drsquoen discuter trop, mais pour des raisons drsquoexhaustivité, je voudrais les inclure. Toujours avec moi? Très bien. La situation est devenue plus compliquée. Nous savons déjà que nous pouvons définir des caractères génériques pour les agents utilisateurs avec un astérisque. Toutefois, il en va de même pour les autres directives. Par exemple, si voulez empêcher lrsquoaccès à tous les dossiers qui commencent par WP: *
Non autorisé: WP * est raisonnable, nrsquoest ce pas? Il en va de même pour les documents. Par exemple, si mon but est drsquoexclure tous les fichiers PDF du dossier Média des serp, je vais utiliser le code suivant: User agent: *
Non autorisé: WP content upload * *. PDF note que j’ai remplacé le répertoire des mois et des dates automatiquement définis par WordPress par des caractères génériques pour m’assurer que tous les fichiers à cette fin sont saisis, peu importe quand ils sont téléchargés. Bien que cette technique fonctionne bien dans la plupart des cas, devez parfois définir une chaîne en fonction de sa fin plutôt que de son début. Crsquoest là que les caractères génériques du symbole dollar sont utiles: agent utilisateur: *
Non autorisé: page. Php $les règles ci dessus garantissent que seules les pages sont bloquées. Php, pas la page. Php? Id = 12. Le symbole dollar indique au moteur de recherche quelle page. PHP est la fin de la chaîne. Propre, hein? OK, mais qursquoest ce que jrsquoai besoin drsquoentrer dans mon fichier robot. Txt maintenant? Je vois que tu deviens impatient. Où est le code? Puis je publier des instructions optimisées ici et nrsquoavez qursquoà copier, coller et compléter ce sujet? Bien que je le veuille, malheureusement, la réponse est non. Lrsquoune des raisons est
Le contenu du robot. Txt dépend vraiment de votre site. Il y a peut être des choses que préférez éviter des moteurs de recherche dont les autres ne se soucient pas. Deuxièmement, et crsquoest le plus important, il nrsquoexiste pas de normes convenues pour la mise en place des meilleures pratiques et méthodes de robotique. Txt dans le référencement. Toute la question est un peu controversée. Par exemple, les anciens nrsquoavaient que quelques uns des robots suivants. Txt: User agent: *
Non autorisé: out comme pouvez le voir, la seule chose qursquoils interdisent est leur répertoire
Non autorisé:
Agent utilisateur: mediapartners Google
Non autorisé:
Agent utilisateur:
Non autorisé: DropBox
Sans objet
Aide En ce qui concerne la configuration des robots, je suis drsquoaccord avec la conclusion finale de yoast. Txt. Du point de vue du référencement, il est logique drsquoaider Google autant que possible afin qursquoil puisse comprendre votre site. Cependant, si souhaitez conserver certaines parties (comme les liens drsquoaffiliation), ne les autorisez pas au besoin. Ceci est également étroitement lié aux chapitres pertinents de WordPress Codex: « ajouter des entrées à robots.txt pour aider au référencement est un malentendu populaire. Google a indiqué que pouvez utiliser robots.txt pour bloquer certaines parties du site, mais il préférerait maintenant que ne le fassiez pas. Au lieu de cela, utilisez la balise NOINDEX au niveau de la page pour résoudre les parties de faible qualité du site. Depuis 2009, Google est de plus en plus clair dans ses recommandations pour éviter de bloquer Les fichiers JS et CSS, ainsi que lrsquoéquipe qualité de la recherche de Google, ont activement promu la politique de transparence des webmestres pour aider Google à vérifier si nous cachons ou relions des pourriels laids sur des pages masquées. Par conséquent, le fichier Robot idéal ne permet rien du tout et si une carte de site XML précise a été construite, il peut être relié à une carte de site XML (bien que cela soit rare en soi!). WordPress ne bloque par défaut que quelques fichiers JS, mais il est presque conforme aux instructions de Google.
