Estas multaj aferoj, kiujn vi bezonas scii kaj lerni en blogado. Vi neniam povas esti perfekta en iu ajn kampo, ĉar estas multaj pli grandaj kaj pli bonaj aferoj, kiujn vi scios dum la vojo. Eĉ tre malgrandaj aferoj kaj dosieroj en via retejo multe gravas laŭ Google-rangotabeloj kaj SEO entute. Unu tia afero estas la "robots.txt”Dosiero. Komence, kiam mi komencis blogi, mi fakte ne sciis, kio estas ĉi tiu dosiero kaj la graveco de ĉi tiu dosiero. Do mi multe esploris el diversaj fontoj kaj komprenis ĝian ĝustan uzon kaj kiom gravas ĝi en SEO. Multaj novuloj-blogantoj ne scias, kio estas robots.txt kaj ĝia uzo, do mi pensis verki perfektan priskriban artikolon pri ĝi.
Kio estas Robots.txt-dosiero?
Robots.txt estas tre malgranda teksta dosiero ĉe la radiko de via retejo. Kiel plej multaj el vi scias, la retaj rampiloj kaj araneoj respondecas pri la disvolviĝo de la tuta interreta reto. Ideale, ĉi tiuj rettrafosiloj povas rampi al iu ajn paĝo aŭ iu ajn URL ĉe la retejo, eĉ tiu privata kaj ne alirebla.
Ĝi ne limigas homojn aliri vian enhavon.
Por regi la dosierojn, kiujn vi volas, ke la rettrafosiloj aliru kaj limigu, vi povas direkti ilin per la dosiero robots.txt. Robots.txt ne estas html-dosiero, sed la araneoj obeas, kion diras ĉi tiu dosiero. Ĉi tiu dosiero ne protektas vian retejon rekte de eksteraj minacoj, sed ĝi nur petas la rettrafosilojn ne eniri apartan areon de via retejo.
Kie vi trovas roboton.txt-dosieron?
La loko de ĉi tiu dosiero estas tre grava por ke la rettrafosiloj identigu ĝin. Do, ĝi devas esti en la ĉefa dosierujo de via retejo.
http://youdomain.com/robots.txt
Jen la robotoj kaj eĉ vi povas trovi la dosieron de iu ajn retejo. Se la rettrafosiloj ne trovos la dosieron en la ĉefa dosierujo, ili simple supozas, ke ne ekzistas robotdosiero por la retejo kaj tie per indekso de ĉiuj paĝoj de la retejo.
Baza Strukturo de Robotoj.txt-dosiero
La strukturo de la dosiero estas tre simpla kaj ĉiu povas kompreni ĝin facile. Ĝi ĉefe konsistas el 2 eroj t.e. Uzanto-agento kaj Malpermeso.
sintakso:
Uzanto-agento:
Malpermesi:
Kompleta Kompreno de Ekskludo kun Ekzemploj
Unue vi devas scii, kion signifas ĝuste la eroj kaj kia estas ilia funkcio. "Uzanto-agento" estas la termino uzata por determini la serĉilojn de serĉiloj, ĉu ĝi povas esti Google, Yahoo aŭ iu ajn serĉilo. "Malpermesi" estas la termino uzata por listigi la dosierojn aŭ dosierujojn kaj ekskludi ilin de la crawler-listoj.
Dosierujo aŭ Dosierujo-Ekskludo:
La baza ekskludo uzata de plej multaj retejoj estas,
Uzanto-agento: *
Malpermesi: / test /
Ĉi tie, * indikas ĉiujn serĉilojn. Malpermeso / testo / indikis, ke la dosierujo kun nomo 'testo' devas esti ekskludita de rampado.
Dosiera Ekskludo:
Uzanto-agento: *
Malpermesu: /test.html
Ĉi tio indikas, ke ĉiuj serĉiloj-serĉiloj ne devas rampi la dosieron nomatan 'test.html'.
Ekskludo de tuta retejo:
Uzanto-agento: *
Malpermesi: /
Inkludo de tuta retejo:
Uzanto-agento: *
Malpermesi:
OR
Uzanto-agento: *
Permesi: /
Ekskludo de Ununura rettrafosilo:
Uzanto-agento: googlebot
Malpermesi: / test /
Aldoni retejan mapon:
Uzanto-agento: *
Malpermesi: / test /
Reteja mapo: http://www.yourdomain.com/sitemap.xml
Kiel Krei dosieron robots.txt?
Krei dosieron robots.txt estas tre simpla, ĉar ĉi tie ne estas speciala lingvo aŭ teknika komplikaĵo. Vi povas fari tion dumaniere, unu estas mana kreado kaj la alia estas krei la dosieron per iloj.
Mana kreado de la dosiero estas diskutita en la supra parto, do ni iru al la uzado de iloj, kio estas eĉ pli simpla. Vi povas uzi ilojn por generi dosierojn robots.txt per SEOBook, Mcanerin, ktp.
Provado de dosiero robots.txt.
La dosiero kreita de vi eble funkcios ĝuste aŭ ne. Por testi tion, vi povas uzi la ilo de testilo robots.txt. Vi povas simple sendi URL al la testilo, La ilo funkcias kiel Googlebot farus por kontroli vian robots.txt dosiero kaj kontrolas, ke via URL estis blokita ĝuste.
Jen kelkaj paŝoj listigitaj por la retejestroj de Google, kiuj helpos vin testi la kreitan dosieron robots.txt:
Limigoj de dosiero robots.txt:
Kvankam la robotoj.txt estas fidinda komponaĵo por direkti la rastrumilojn, ĝi tamen havas malmultajn limojn aŭ malavantaĝojn kiam oni traktas ĝin praktike.
1. La rettrafosiloj ne povas esti devigitaj, ili nur povas esti direktitaj: Kiam ni uzas la dosieron robots.txt por malpermesi apartan vojon aŭ URL, ni nur petas la retumilojn ne indeksi tiun apartan URL aŭ adresaron sed ne devigi la robotojn deturni. Kaj ĉiuj retumiloj eble ne obeas la instrukciojn donitajn en ĉi tiu dosiero. Do por bloki apartan URL, aliaj metodoj kiel pasvorta protekto aŭ uzado de meta-etikedoj povas esti efektivigitaj, kiuj estas pli efikaj kaj efikaj.
2. Sintaksa interpreto povus diferenci por ĉiu rampilo: La supre menciita sintakso validas por maksimuma procento de interretaj retumiloj. Sed malmultaj rettrafosiloj eble ne komprenas la sintakson aŭ interpretas ĝin tute alimaniere, kio povus kaŭzi problemojn.
3. Referencoj al viaj URL-oj de aliaj retejoj ne povas malhelpi per robots.txt: Ĉi tio estas preskaŭ unu el la ĉefaj malavantaĝoj de dosiero robots.txt. La dosiero malpermesos al Google-rettrafosiloj aliri iun apartan URL, kiam ili eniros rekte en la retejon. Sed kontraŭe al tio, kiam tiu specifa URL, kiun vi volas bloki, estas aludita de iu alia retejo, tiam la rettrafosiloj ne haltos mem eniri la ligon, tiel listigante la blokitan URL.
Do, por eviti ke ĉi tiuj aferoj okazu, vi devas iri kun aliaj protektaj metodoj kiel pasvorto protektanta dosierojn de servilo or uzante la meta-etikedojn (indekson, sekvu) kune kun la dosiero robots.txt.
Kontrolu, kion Matt Cutts prenas pri Optimizing robots.txt
Aldonante Proprajn Robotojn.Txt al Blogger
Mi jam verkis artikolon pri altnivelaj serĉilaj preferoj kie mi parolis pri kutima dosiero robots.txt, en la Altnivela SEO-Gvidilo por Blogger. Ĝenerale por bloganto la dosiero robots.txt aspektas tiel:
Uzanto-agento: Mediapartners-Google Malpermeso:
Uzanto-agento: *
Malpermesi: / serĉi
Permesi: /
Reteja mapo: https://www.alltechbuzz.net/feeds/posts/default?orderby=UPDATED
Paŝoj por Sekvi:
- Malfermu vian bloggeran panelon.
- Iru al Agordoj > Serĉu Preferojn > Rettrafosiloj kaj indeksado > Propraj robotoj.txt > Redaktu> Jes.
- Algluu vian kodon robots.txt en ĝi.
- Alklaku butonon Konservi Ŝanĝojn.
Kiel Optimigi Robotojn.txt por Wordpress:
Por Wordpress ni havas multajn kromaĵojn por fari la samon. Mi rekomendus vin daŭrigi Yoast Kromaĵo administri serĉajn preferojn. Rigardu nian artikolon pri Yoast SEO-Agordoj por kompletaj agordoj.
La suba estas ekzemplo de dosiero robots.txt, kiun vi povas uzi por iu ajn domajno gastigita en wordpress:
sitemap: http://www.yourdomain.com/sitemap.xml Uzanto-agento: * # malpermesu ĉiujn dosierojn en ĉi tiuj dosierujoj Malpermesu: / cgi-bin / Malpermesi: / wp-admin / Malpermesi: / wp-inkluzivas / Malpermesi: / wp-content / Disallow: / archives / disallow: / *? * Malpermesi: *? replytocom Malpermesi: / wp- * Disallow: / comments / feed / User-agent: Mediapartners-Google * Permesi: / User-agent: Googlebot -Bildo Permesi: / wp-content / uploads / Uzanto-agento: Adsbot-Google Permesi: / Uzanto-agento: Googlebot-Mobile Permesi: /
Post kiam vi optimumigis vian dosieron robots.txt, mi forte rekomendas vin testi vian dosieron unue per la testilo de robots.txt en Iloj pri retejestroj de Google.
Do, mi esperas, ke tio helpis. Informu min, ĉu vi havas dubojn pri optimigo de robots.txt en viaj komentoj.
