Hemm ħafna affarijiet li għandek bżonn tkun taf u titgħallem fil-blogging. Qatt ma tista 'tkun perfett fi kwalunkwe qasam peress li hemm ħafna affarijiet akbar u aħjar li tkun taf matul it-triq. Anki affarijiet u fajls żgħar ħafna fil-websajt tiegħek huma importanti ħafna f'termini ta 'klassifiki ta' Google u SEO kollha kemm hi. Ħaġa waħda bħal din hija l-robots.txt”Fajl. Inizjalment, meta bdejt nagħmel blogging, fil-fatt ma kontx naf x'inhu dan il-fajl u l-importanza ta 'dan il-fajl. Allura, għamilt ħafna riċerka minn sorsi varji u fhimt l-użu eżatt tagħha u kemm hu importanti fis-SEO. Ħafna bloggers newbie ma jafux x'inhu robots.txt u l-użu tiegħu, għalhekk ħsibt li nikteb artiklu deskrittiv perfett fuqu.
X'inhu l-fajl Robots.txt?
Robots.txt huwa fajl tat-test żgħir ħafna preżenti fl-għerq tas-sit tiegħek. Kif ħafna minnkom jafu, il-web crawlers u l-brimb huma responsabbli għall-iżvilupp tan-netwerk tal-web kollu. Idealment, dawn it-tkaxkir jistgħu jitkaxkru fi kwalunkwe paġna jew kwalunkwe URL preżenti fuq il-web, anke dik li huma privati u m'għandhomx jiġu aċċessati.
Ma jirrestrinġix lin-nies milli jaċċessaw il-kontenut tiegħek.
Sabiex tieħu kontroll tal-fajls li trid li t-tkaxkir jaċċessaw u jirrestrinġu, tista 'tidderieġihom billi tuża l-fajl robots.txt. Robots.txt mhuwiex fajl html, iżda l-brimb jobdu dak li jiddikjara dan il-fajl. Dan il-fajl mhuwiex xi ħaġa li tipproteġi s-sit tiegħek direttament minn theddid estern, iżda titlob biss lill-bots tat-tkaxkir biex ma jidħlux f'żona partikolari tas-sit tiegħek.
Fejn issib il-fajl robots.txt?
Il-post ta 'dan il-fajl huwa importanti ħafna għat-tkaxkir biex jidentifikawh. Allura, għandu jkun fid-direttorju ewlieni tal-websajt tiegħek.
http://youdomain.com/robots.txt
Dan huwa fejn il-bots u anke int tista 'ssib il-fajl ta' kwalunkwe websajt. Jekk it-tkaxkir ma jsibux il-fajl fid-direttorju ewlieni, huma sempliċement jassumu li m'hemm l-ebda fajl tar-robots għall-websajt u hemm b'indiċi tal-paġni kollha tas-sit.
Struttura Bażika tal-fajl Robots.txt
L-istruttura tal-fajl hija sempliċi ħafna u kull wieħed jista 'jifhimha faċilment. Jikkonsisti fil-biċċa l-kbira f'żewġ komponenti jiġifieri aġent ta 'l-Utent u Irrifjuta.
Sintassi:
Utent-aġent:
Tħallix:
Fehim sħiħ ta 'Esklużjoni b'Eżempji
L-ewwelnett, għandek tkun taf x'inhuma eżattament il-komponenti u x'inhi l-funzjoni tagħhom. "Utent-aġent" huwa t-terminu użat biex jiddetermina t-tkaxkir tal-magna tat-tiftix, kemm jekk jista 'jkun Google, Yahoo jew kwalunkwe magna tat-tiftix. "Ċaħdux" huwa t-terminu użat biex jelenka l-fajls jew direttorji u jeskludihom mil-listi tat-tkaxkir.
Esklużjoni tad-Direttorju jew Folder:
L-esklużjoni bażika li tintuża minn ħafna mis-siti hija,
User-aġent: *
Irrifjuta: / test /
Hawnhekk, * jindika t-tkaxkir tal-magna tat-tiftix kollha. Ir-rifjut / it-test / indika li l-folder bl-isem 'test' għandu jiġi eskluż milli jitkaxkar.
Esklużjoni tal-Fajl:
User-aġent: *
Tħallix: /test.html
Dan jindika li t-tkaxkir tal-magni tat-tiftix kollha m'għandhomx jitkaxkru l-fajl imsejjaħ 'test.html'.
Esklużjoni ta 'sit sħiħ:
User-aġent: *
Ħalli: /
Inklużjoni ta 'sit sħiħ:
User-aġent: *
Tħallix:
OR
User-aġent: *
Ħalli: /
Esklużjoni ta 'Tkaxkir Uniku:
Utent-aġent: googlebot
Irrifjuta: / test /
Żid Sitemap:
User-aġent: *
Irrifjuta: / test /
Sitemap: http://www.yourdomain.com/sitemap.xml
Kif Oħloq fajl robots.txt?
Il-ħolqien ta 'fajl robots.txt huwa sempliċi ħafna billi m'hemm l-ebda lingwa speċjali jew kumplikazzjoni teknika hawnhekk. Tista 'tagħmel dan b'żewġ modi, wieħed huwa l-ħolqien manwali u l-ieħor huwa li toħloq il-fajl billi tuża għodda.
Il-ħolqien manwali tal-fajl huwa diskuss fil-parti ta 'hawn fuq, allura ejjew immorru għall-użu ta' għodda, li huwa saħansitra aktar sempliċi. Tista 'tuża għodod tal-ġeneratur tal-fajl robots.txt billi SEOBook, Mcanerin, eċċ.
Ittestjar tal-fajl robots.txt.
Il-fajl li ħloqt jista 'jew jaħdem sewwa jew le. Sabiex tittestja dak, tista 'tuża l- għodda li tittestja robots.txt. Tista 'sempliċement tissottometti URL lill-għodda tat-tester, L-għodda topera kif jagħmel Googlebot biex jiċċekkja tiegħek robots.txt fajl u tivverifika li l-URL tiegħek ġiet imblukkata kif suppost.
Hawn huma ftit passi elenkati għall-webmasters minn Google, li jgħinuk tittestja l-fajl robots.txt li ħloqt:
Limitazzjonijiet tal-fajl robots.txt:
Għalkemm ir-robots.txt huwa komponent li jistħoqqlu l-fiduċja meta jiġi biex jidderieġi t-tkaxkir, xorta għandu ftit limitazzjonijiet jew żvantaġġi meta jiġi ttrattat prattikament.
1. It-tkaxkir ma jistgħux jiġu sfurzati, jistgħu jiġu diretti biss: Meta nużaw il-fajl robots.txt biex ma nħallux triq jew URL partikolari, inkunu qed nitolbu biss lill-web crawlers biex ma jindiċjawx dik il-URL jew direttorju partikolari iżda mhux inġiegħlu lill-bots jiddevjaw. U l-web crawlers jistgħu ma jobdux l-istruzzjonijiet li qed jingħataw f'dan il-fajl. Allura sabiex timblokka URL partikolari, metodi oħra bħall-protezzjoni tal-password jew l-użu ta 'meta tags jistgħu jiġu implimentati li huma aktar effettivi u effiċjenti.
2. L-interpretazzjoni tas-sintassi tista 'tkun differenti għal kull tkaxkir: Is-sintassi msemmija hawn fuq hija tajba għal persentaġġ massimu ta 'web crawlers. Iżda ftit crawlers jistgħu jew ma jifhmux is-sintassi jew jinterpretawha b'mod kompletament differenti, li jista 'jġiegħlek fl-inkwiet.
3. Referenzi għall-URL tiegħek minn siti oħra ma jistgħux jiġu evitati minn robots.txt: Dan huwa prattikament wieħed mill-iżvantaġġi ewlenin tal-fajl robots.txt. Il-fajl ma jippermettix lill-crawlers ta 'Google milli jaċċessaw kwalunkwe URL partikolari, meta jidħlu direttament fis-sit. Iżda għall-kuntrarju ta 'dan, meta dik il-URL partikolari li trid timblokka qed tiġi riferita minn xi websajt oħra, allura t-tkaxkir ma jwaqqfux lilhom infushom milli jidħlu fil-link, u b'hekk jelenkaw il-URL imblukkat.
Allura, sabiex ma tħallix li dawn l-affarijiet iseħħu, għandek tmur b'metodi protettivi oħra bħal fajls li jipproteġu bil-password mis-server or billi tuża l-meta tags (indiċi, segwi) flimkien mal-fajl robots.txt.
Iċċekkja x'jieħdu Matt Cutts dwar l-Ottimizzazzjoni ta 'robots.txt
Żieda ta 'Robots Personalizzati. Txt ma' Blogger
Diġà ktibt artiklu dwar preferenzi avvanzati tal-magna tat-tiftix fejn tkellimt dwar il-fajl robots.txt tad-dwana, fil-fajl Gwida SEO Avvanzata għal Blogger. Ġeneralment, għall-blogger il-fajl robots.txt jidher xi ħaġa bħal din:
Utent-aġent: Mediapartners-Google Irrifjuta:
User-aġent: *
Tħallix: / tfittex
Ħalli: /
Mappa tas-sit: https://www.alltechbuzz.net/feeds/posts/default?orderby=UPDATED
Passi li Jsegwu:
- Iftaħ id-daxxbord tal-blogger tiegħek.
- Mur Settings > Fittex Preferenzi > Tkaxkir u indiċjar > Robots.txt apposta > Editja> Iva.
- Paste l-kodiċi robots.txt tiegħek fih.
- Ikklikkja l-buttuna Save Save Changes.
Kif Ittejjeb Robots.txt għal Wordpress:
Għal Wordpress għandna ħafna plugins biex nagħmlu l-istess. Nirrakkomandalek li tibqa 'għaddej Yoast Plugin biex timmaniġġja l-preferenzi tat-tfittxija. Iċċekkja l-artiklu tagħna fuq Settings ta 'Yoast SEO għal settings kompluti.
Hawn taħt huwa eżempju ta 'fajl robots.txt li tista' tuża għal kwalunkwe dominju li huwa ospitat fuq wordpress:
sitemap: http://www.yourdomain.com/sitemap.xml User-agent: * # ma jippermettix il-fajls kollha f'dawn id-direttorji Neħħi: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / wp-content / Disallow: / archives / disallow: / *? * Disallow: *? replytocom Disallow: / wp- * Disallow: / comments / feed / User-agent: Mediapartners-Google * Ħalli: / User-agent: Googlebot -Imma Ħalli: / wp-content / uploads / Utent-aġent: Adsbot-Google Ħalli: / Utent-aġent: Googlebot-Mobile Ħalli: /
Ladarba tkun ottimizzat il-fajl robots.txt tiegħek nirrakkomandalek li ttestja l-fajl tiegħek l-ewwel billi tuża l-fajl tester robots.txt fil-Google Webmaster Tools.
Allura, nispera li dan għen. Għidli jekk għandekx xi dubji dwar l-ottimizzazzjoni tar-robots.txt fil-kummenti tiegħek.
