Auala e aveesea ai se nofoaga po o lona fragments mai le faasino upu Google

E tusa ai ma le faasino igoa manatu faaaogāina e le Google, faitauina mo atoatoa, objectivity o le faamatalaga ma ona ogatasi i le fesili suesuega i le tuuina atu o le taunuuga. Afai e pa'ū le faasino upu website ma mataupu faasolitulafono, po o punaoa mo spam, o le itulau o lenei o le a le faailogaina nofoaga i le afi suesuega nofoaga autu o faamatalaga masani. Ia i tatou e taua ai le aoao i le auala e aveesea ai se nofoaga mai le tuuina atu o le taunuuga o le faigaluega suesuega.

Variants o le o le faasino igoa Google

O le taimi o le suesuega ropota - o se polokalama e ao mai faamatalaga e uiga i punaoa fou - o le a e faitau vave le itulau nofoaga i le itulau la, pe i lalo o le tulaga manaomia faiga faavae Google mo parsing, o le a faasolo. Ae ua tatou faaali atu foi ia te outou le auala e aveesea lou nofoaga po fragments mo le afi suesuega e ala i se robots.txt - faasino ma saili i le nofoaga e taimi e tasi.

Ina ia aveesea mai le tuuina atu o le punaoa atoa, i le aʻa faila o le faigaluega lea o lo oi le nofoaga, ua faia ai se nofoaga mau faapitoa - fai robots.txt. O lenei sone o loo taulimaina ma le afi suesuega ma galulue e tusa ai o le faatonuga faitau.

Ia manatua o le faasino upu o igoa afi suesuega Google le itulau, e tusa lava pe afai o se tagata e faaaogāina i ai le avanoa e matamata faasāina. Ina ua browser tali mai ma le 401 po o le 403 "O Avanoa aloaia", e faatatau i na o tagata asiasi, nai lo le polokalame e faapotopoto mo lenei afi suesuega.

Ina ia malamalama i le auala e aveesea ai le nofoaga mai le sailia o le faasino igoa o le afi, o se e tatau ona ulufale atu e faasino mau o laina nei:

Tagata e faaaogāina-sooupu: Googlebot

Lē faatagaina: /

O lenei faailoa atu i le crawler e faasino i le faasaina o le uma mataupu i luga o le nofoaga. O iinei i le auala e aveesea ai se nofoaga Google, ina ia e le cache le gata ai le punaoa i le lisi o mateia.

Embodiments o le faitauina mo taiala eseese

Afai e te manaomia e lisi mai tulaga faatonuina fesootaiga tagata, lea e te manao e faaaogā i ai tulafono faapitoa mo le faasino igoa o le Google, mo se faataitaiga, eseese mo hypertext taiala http / https, e tatau foi ona faamauina i le robots.txt i le ala nei (faataitaiga).

(Http://yourserver.com/robots.txt) - a silafia e igoa o lou nofoaga (ei ai)

Tagata e faaaogāina-sooupu: * - so o se afi suesuega

Faataga: / - faatagaina indexation tumu

Auala e aveesea ai se nofoaga mai le lomiga atoa i le maliega faafeagaiga https

(Https://yourserver.com/robots.txt):

Tagata e faaaogāina-sooupu: *

Lē faatagaina: / faasā atoatoa i le faasino igoa

Expedited tuatusi punaoa URL- aveesea mai SERPs Google

Afai e te le manao e faatali mo le toe indexation, ma le nofoaga e te manao e natia e pei o, ou te fautua atu ina ia faaaoga vave le http://services.google.com/urlconsole/controller auaunaga e mafai ai. Muai robots.txt e tatau ona tuuina i le tomatauga aa o le faigaluega nofoaga. E tatau ona faatonuina faatonuga talafeagai.

Afai e faasino ai mo se mafuaaga e le mafai ona faasaʻoina i le tomatauga aʻa, fausia lava i totonu o le faila ma le sini lea e te manao e natia mai le afi suesuega. O le taimi lava e te faia lenei mea ma faasino atu i le auaunaga otometi aveesea tuatusi hypertext, o le a le faitau vave Google folders e faamaninoina mai se mea sese i le robots.txt.

ua faatulaga o le vaitaimi o lenei invisibility mo le 3 masina. Ina ua mavae lenei vaitaimi, o le tomatauga faaui i tua mai le mataupu, o le a toe faatinoina e faigaluega Google.

H ow e aveesea ai se nofoaga e pue ai se vaega

Pe a faitauina o se bot suesuega i le mataupu o robots.txt, ua faia e nisi faaiuga i luga o le faavae o ona anotusi. Sei o tatou fai atu e te manao e aveesea mai le faaalia o le tomatauga atoa taʻua anatom. Ua lava e faatonuina ai tulafono faatonutonu e pei:

Tagata e faaaogāina-sooupu: Googlebot

Lē faatagaina: / anatom

Po o le, mo se faataitaiga, e te manao i le faasino upu .gif ituaiga faatusa uma. Ina ia faia lenei mea, e faaopoopo i le lisi lenei:

Tagata e faaaogāina-sooupu: Googlebot

Lē faatagaina: /*.gif$

O le isi lenei faataitaiga. Ia latou ona aveesea mai parsing faamatalaga i le faatupulaia dynamically itulau, ao faaopoopo atu i le ituaiga ulufale faasino upu:

Tagata e faaaogāina-sooupu: Googlebot

Lē faatagaina: / *?

faatatau i lena, ma e maua ai mai le tulafono mo le afi suesuega. O le isi mea e faapea e sili atu le talafeagai e na faaaogaina lenei pine META. Ma webmasters masani ona faaaoga na o se tulaga faatonuina o le faatonutonuina o le faagaoioiga o afi suesuega. Ae o le a tatou talanoaina lenei mataupu i le lumanai.