Cum de a face roboți txt fișier - pentru site-ul gratuit

roboți Correct txt - una dintre cele mai importante de optimizarea motorului de căutare. necesare pentru a promova site-ul dvs. la început.
Una dintre funcțiile fișierului este interzicerea indexeze toate paginile suplimentare ale blogului.
Motoarele de căutare sunt una și aceeași resursă web cu www și non-www percep ca diferite site-uri. Găsirea că conținutul lor nu sunt diferite motoare de căutare „ancrasa“ site-uri.
Pentru a evita acest lucru, se recomandă să identifice oglinda principală în fișierul robots.txt.
Înainte de a trece la site-ul
După ce sa mutat la site-ul
Deci, pentru oglinda mea principală site-ul - fara www. Să sperăm că a explicat în mod clar.
Exemplu de robots.txt adecvat pentru site-ul meu de WordPress

În acest fișier de a fi indexate închis toate secțiunile care ar trebui să fie ignorate de către motoarele de căutare.
- Toate acestea, este necesar să se înregistreze într-un document text cu extensia .txt, adică, da fișierul robots.txt un nume. Doar nu uitați să schimbați datele seitostroenie.ru pe site-ul său.
- Apoi, acest fișier ar trebui să fie plasat în rădăcina blogului, în același folder în care wp-content.
Acum, ia în considerare mai detaliat sensul unui document, fiecare dintre rânduri.
User-agent: * - crearea de reguli pentru toate motoarele de căutare;
User-agent: Yandex - Yandex pentru;
Interzice accesul la partițiile de roboți:
Pentru a seta blog-ul oglinzii principale prevede:
Probleme cu indexare
În cazul în care site-ul nu este configurat NC, cu indexare poate fi o problemă:
String - Disallow :? / * * Se închide indexeze aceste pagini ca link-uri către aceste posturi apar ca aceasta: site.ru/?p=665.
Pentru a remedia această problemă, eliminați aceste linii.
verificarea robots.txt


și faceți clic pe „Încărcați robots.txt de pe site-ul“, apare următorul mesaj:

Obținem rezultatul că totul este în ordine:


Pentru Runet cea mai frecventă sarcină este de a crea un fișier robots.txt pentru Yandex. ca și acum, Yandex - cel mai popular motor de căutare. Este important să se poată utiliza directiva gazdă corect. care sunt conforme cu motorul de căutare.
Prin trimiterea orice formă pe site-ul, sunteți de acord cu Politica de confidențialitate
Utilizați numai text cu link-ul activ la sursa