Sovet№3 crearea de optimizare internă

optimizare Sovet№3 internă: Crearea robots.txt

Cred că nu am descoperit America de spunând că indexarea site-ului dvs. este foarte important fișier robots.txt Pe scurt, ceea ce acest fișier de management indexarea site-ului tau. Deci, acum limba elfilor)) Fișierul robots.txt este creat special pentru roboții de căutare pentru site-uri index. Fișierul este scris cu regulile de scanare de pe blog / site-ul dvs., de exemplu, robots.txt «spune bot, care poate indexa site-ului. De exemplu, de ce Googlebot să cunoască informațiile din departamentul administrativ? Sau logare? Primul bot caută fișierul text citit funcționează în mediul dumneavoastră, și mai specific interzice.

Pentru a dezactiva indexarea în Yandex și Google o singură pagină, este convenabil de a folosi meta tag Robots. Fișierul robots.txt este utilizat pentru a configura indexarea la nivel mondial.

În general, suficient pentru a merge în jurul temei, vom proceda la pregătirea și revizuirea robots.txt

Consiliul. Dacă site-ul dvs. pe WordPress sau alte CMS, în principiu, diferențe semnificative în robots.txt la site-urile de acolo. Puteți evalua dosarele concurenților săi și relevante de pe site-ul dvs. / blog, adăugând la domeniul /robots.txt exemplu, fișierul meu de roboți pot fi vizualizate la link-ul - gtalk.kz/robots.txt pridelnyh Dar fii atent!

Reguli pentru compilarea robots.txt

Dacă ați deschis vreodată un fișier, probabil ca poti ghici cum să-l facă.

Schema generală este după cum urmează:

Acum, cu mai multe detalii. Primul pas este de a alege, care sunt destinate să se pronunțe. Executarea acestei funcții este directiva User-agent. După aceea, câmpul este numele robotului, sau „*“ - următoarele reguli pentru toate bărcile. O listă parțială a motoarelor de căutare și roboții lor nume:

Disallow - interzicerea fișierului de indexare, director, etc. Instrucțiunea este Disallow opus permite (nu înțeleg toate roboții!) - Googlebot înțelege, Yandex - nu.

Cred că, de exemplu, totul va cădea în loc:

• Dezafecta roboții să indexeze site-ului. închiderea completă a site-ului de la motoarele de căutare.
  • User-agent: *
    Disallow: /
• Pentru a indexa întregul site. Spre deosebire de alineatul 1,
  • User-agent: *
    Disallow:
• Indicele site-ul poate doar Googlebot, să interzică Yandex
  • User-agent: Googlebot
    Disallow: User-agent: Yandex
    Disallow: /

Intre reguli pentru diferite roboții să lăsați o linie goală!

• Închide directorul tuturor roboții: wp-include, wp-admin și fișierul wp-login.php în directorul principal al unui site.
  • User-agent: *
    Disallow: / wp-include /
    Disallow: / wp-admin /
    Disallow: / wp-login.php
• Interzicerea de indexare directorul «trackback», precum și toate fișierele și directoarele care încep cu caractere «trackback»
  • User-agent: *
    Disallow: / trackback
• Interzicerea indexeze fișierele care încep cu caracterele animale și au o altă cale către fișierul și / sau directorul:
  • User-agent: *
    Disallow: * / hrana pentru animale

Simbolul „*“ înseamnă orice (inclusiv unul gol) secvența de caractere.

Directiva gazdă este susținută doar de Yandex și informează robotul pe care a site-ului două oglinzi principale - cu sau fără www. Este folosit pentru lipirea domenii. Format de înregistrare:

De obicei, ei scriu că atât de greșit:

User-agent: *
Disallow: / css /
Realizator: www.example.com

Și acest lucru este - drept (pentru a adăuga reguli pentru Yandex)

User-agent: *
Disallow: / css /

User-agent: Yandex
Disallow: / css /
Realizator: www.example.com

Nu aș spune așa, încă mai găsește parametru Yandex gazdă. Dar este mai bine să nu experimenteze pe un site viu))

Și, în sfârșit, regulamentele de studiu. Asigurați-vă că pentru a adăuga un Sitemap. Execuția continuă după cum urmează:

User-agent: Yandex
Disallow: /

De asemenea, am recomanda:

Ei bine, și acum nu va fi dificil de înțeles în exemplele de mai jos.

Acum, ia în considerare unele robots.txt reale

Prezentare generală moegorobots.txtfayla.

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: / trackback
Disallow: * / trackback
Disallow: * / hrana pentru animale
Disallow: / * *?
Disallow: / wp-content /
Disallow: / wp-admin /
Disallow: / wp-include /
Disallow: /xmlrpc.php
Permite: / wp-content / încărcări /

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: / trackback
Disallow: * / trackback
Disallow: * / hrana pentru animale
Disallow: / * *?
Disallow: / wp-content /
Disallow: / wp-admin /
Disallow: / wp-include /
Disallow: /xmlrpc.php
Permite: / wp-content / încărcări /
Realizator: gtalk.kz

Fișierul robots.txt pentru joomla

Cred că, după ce a citit toate cele de mai sus, puteți afla aici, cred că de ea ca teme;)

joomla fișier standard

În principiu, foarte bine gândit, dezvoltatorii, dat fiind faptul că WordPresse robots.txt absentă))

User-agent: *
Disallow: / administrator /
Disallow: / cache /
Disallow: / Componente /
Disallow: / images /
Disallow: / include /
Disallow: / instalare /
Disallow: / limba /
Disallow: / biblioteci /
Disallow: / media /
Disallow: / module /
Disallow: / plugins /
Disallow: / template-uri /
Disallow: / tmp /
Disallow: / XMLRPC /

Dar nu am putut rezista și a făcut modificări.

User-agent: *
Disallow: / administrator /
Disallow: / cache /
Disallow: / Componente /
Disallow: / include /
Disallow: / limba /
Disallow: / biblioteci /
Disallow: / media /
Disallow: / module /
Disallow: / plugins /
Disallow: / template-uri /
Disallow: / tmp /
Disallow: / XMLRPC /

User-agent: Yandex
Disallow: / administrator /
Disallow: / cache /
Disallow: / Componente /
Disallow: / include /
Disallow: / limba /
Disallow: / biblioteci /
Disallow: / media /
Disallow: / module /
Disallow: / plugins /
Disallow: / template-uri /
Disallow: / tmp /
Disallow: / XMLRPC /
Realizator: gtalk.kz

Dacă este posibil, adăugați un alt sitemap. Te sfătuiesc să utilizați Comp Xmap - probabil una dintre cele mai populare.

Prezentare generală fișiere bloggeri Robot.txt.

Acum, un mic review instructiv. Există o opinie că robots.txt este similară în multe, așa că pur și simplu copiați-l. Să ne uităm la toate bloguri / site-uri de pe platforma WordPress.

Nu-l consilieze, dar am revizuit politica de fișier robots.txt, sau este făcut intenționat))
Tipule doar marcat pe Yasha, sau a făcut-o în mod diferit, cine știe. Unul dintre puținele care folosesc Permite, și a deschis accesul la imaginile de pe blog-ul său.

Fișierul următor este deosebit de poraboval mine:

Da, da, prietenii mei, într-o singură linie. Practic, pune tot site-ul pentru a indexa este greu de rezonabil, nu vă sfătuiesc să facă acest lucru, și sunt de acord asa ca are un aspect mult mai plăcut:

Următorul exemplu este un blog Dimoksa - dimox.name
Ce face acest lucru trebuie să facă pentru tine? De exemplu, linia 7: Disallow: /download-manager.php - interzicerea de scanare fișierul de descărcare manager.php, acest fișier este responsabil pentru descărcare de pe blog-ul Dimoksa. Ce înseamnă Disallow: / jexr / Sincer, nu știu. Dar se pare că există unele fișiere importante sau personale :)

User-agent: *
Disallow: / wp-include /
Disallow: / wp-admin /
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /download-manager.php
Disallow: / * comentariu *-web-
Disallow: / * cp = *
Disallow: / jexr /

User-Agent: Yandex
Disallow: / wp-include /
Disallow: / wp-admin /
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /download-manager.php
Disallow: / * comentariu *-web-
Disallow: / * cp = *
Disallow: / jexr /
Realizator: dimox.name

Deci, în cele din urmă de a consolida ceea ce este bine și ce este rău în exemple