பிப்ரவரி 12, 2015

Robots.txt ஐப் புரிந்துகொள்வது, பிளாகர் மற்றும் வேர்ட்பிரஸ் ஆகியவற்றில் ரோபோக்கள் கோப்பை மேம்படுத்துதல்

பிளாக்கிங்கில் நீங்கள் அறிந்து கொள்ள வேண்டிய பல விஷயங்கள் உள்ளன. எந்தவொரு துறையிலும் நீங்கள் ஒருபோதும் முழுமையாய் இருக்க முடியாது, ஏனெனில் பல பெரிய மற்றும் சிறந்த விஷயங்கள் உங்களுக்குத் தெரியும். உங்கள் வலைத்தளத்திலுள்ள மிகச் சிறிய விஷயங்கள் மற்றும் கோப்புகள் கூட கூகிள் தரவரிசை அடிப்படையில் மிகவும் முக்கியம் எஸ்சிஓ ஒட்டுமொத்தமாக. அத்தகைய ஒரு விஷயம் “robots.txt என்ற" கோப்பு. ஆரம்பத்தில், நான் வலைப்பதிவைத் தொடங்கியபோது, ​​இந்த கோப்பு என்ன, இந்த கோப்பின் முக்கியத்துவம் என்னவென்று எனக்குத் தெரியவில்லை. எனவே, நான் பல்வேறு மூலங்களிலிருந்து நிறைய ஆராய்ச்சிகளை மேற்கொண்டேன், அதன் சரியான பயன்பாடு மற்றும் எஸ்சிஓவில் அது எவ்வளவு முக்கியமானது என்பதைப் புரிந்துகொண்டேன். பல புதிய பதிவர்களுக்கு robots.txt என்றால் என்ன, அதன் பயன்பாடு என்னவென்று தெரியாது, எனவே இது குறித்து ஒரு சரியான விளக்கக் கட்டுரையை எழுத நினைத்தேன்.

robots.txt என்ற

Robots.txt கோப்பு என்றால் என்ன?

Robots.txt என்பது உங்கள் தளத்தின் மூலத்தில் இருக்கும் மிகச் சிறிய உரை கோப்பு. உங்களில் பெரும்பாலோருக்கு தெரியும், முழு வலை வலையமைப்பின் வளர்ச்சிக்கு வலை கிராலர்கள் மற்றும் சிலந்திகள் பொறுப்பு. வெறுமனே, இந்த கிராலர்கள் எந்தவொரு பக்கத்திலும் அல்லது வலையில் இருக்கும் எந்த URL க்கும் வலம் வரலாம், அவை தனிப்பட்டவை மற்றும் அணுகக்கூடாது.

இது உங்கள் உள்ளடக்கத்தை அணுகுவதிலிருந்து மக்களைத் தடுக்காது.

கிராலர்களை அணுகவும் கட்டுப்படுத்தவும் நீங்கள் விரும்பும் கோப்புகளை கட்டுப்படுத்த, நீங்கள் robots.txt கோப்பைப் பயன்படுத்தி அவற்றை இயக்கலாம். Robots.txt ஒரு HTML கோப்பு அல்ல, ஆனால் சிலந்திகள் இந்த கோப்பு என்ன சொல்கின்றன என்பதைக் கடைப்பிடிக்கின்றன. இந்த கோப்பு உங்கள் தளத்தை வெளிப்புற அச்சுறுத்தல்களிலிருந்து நேரடியாகப் பாதுகாக்கும் ஒன்றல்ல, ஆனால் உங்கள் தளத்தின் ஒரு குறிப்பிட்ட பகுதிக்குள் நுழைய வேண்டாம் என்று கிராலர் போட்களைக் கோருகிறது.

Robots.txt கோப்பை எங்கே காணலாம்?

இந்த கோப்பின் இருப்பிடம் கிராலர்கள் அதை அடையாளம் காண மிகவும் முக்கியமானது. எனவே, இது உங்கள் வலைத்தளத்தின் முக்கிய கோப்பகத்தில் இருக்க வேண்டும்.

http://youdomain.com/robots.txt

போட்ஸ் மற்றும் எந்த வலைத்தளத்தின் கோப்பையும் நீங்கள் காணலாம். முக்கிய கோப்பகத்தில் கிராலர்கள் கோப்பைக் கண்டுபிடிக்கவில்லை எனில், வலைத்தளத்திற்கான ரோபோக்கள் கோப்பு எதுவும் இல்லை என்று அவர்கள் கருதுகிறார்கள், மேலும் தளத்தின் அனைத்து பக்கங்களையும் குறியீட்டு மூலம்.

Robots.txt கோப்பின் அடிப்படை அமைப்பு

கோப்பின் அமைப்பு மிகவும் எளிமையானது மற்றும் எவரும் அதை எளிதாக புரிந்து கொள்ள முடியும். இது முக்கியமாக 2 கூறுகளைக் கொண்டுள்ளது, அதாவது பயனர் முகவர் மற்றும் அனுமதிக்காதது.

தொடரியல்:

பயனர் முகவர்:

அனுமதி:

எடுத்துக்காட்டுகளுடன் விலக்கின் முழுமையான புரிதல்

முதலாவதாக, கூறுகள் சரியாக எதைக் குறிக்கின்றன, அவற்றின் செயல்பாடு என்ன என்பதை நீங்கள் அறிந்து கொள்ள வேண்டும். “பயனர் முகவர்” கூகிள், யாகூ அல்லது எந்த தேடுபொறியாக இருந்தாலும் தேடுபொறி கிராலர்களை தீர்மானிக்க பயன்படுத்தப்படும் சொல். “அனுமதி” கோப்புகள் அல்லது கோப்பகங்களை பட்டியலிடுவதற்கும் அவற்றை கிராலர் பட்டியல்களிலிருந்து விலக்குவதற்கும் பயன்படுத்தப்படும் சொல்.

அடைவு அல்லது கோப்புறை விலக்கு:

பெரும்பாலான தளங்களால் பயன்படுத்தப்படும் அடிப்படை விலக்கு,

பயனர்-ஏஜென்ட்: *

அனுமதி: / சோதனை /

இங்கே, * அனைத்து தேடுபொறி கிராலர்களையும் குறிக்கிறது. 'சோதனை' என்ற பெயரைக் கொண்ட கோப்புறை வலம் வருவதிலிருந்து விலக்கப்பட வேண்டும் என்பதை அனுமதிக்க / சோதனை / சுட்டிக்காட்டியது.

கோப்பு விலக்கு:

பயனர்-ஏஜென்ட்: *

அனுமதி: /test.html

அனைத்து தேடுபொறி கிராலர்களும் 'test.html' என்ற கோப்பை வலம் வரக்கூடாது என்பதை இது குறிக்கிறது.

முழு தளத்தையும் விலக்கு:

பயனர்-ஏஜென்ட்: *

அனுமதி: /

முழு தளத்தையும் சேர்த்தல்:

பயனர்-ஏஜென்ட்: *

அனுமதி:

OR

பயனர்-ஏஜென்ட்: *

அனுமதி: /

ஒற்றை கிராலரை விலக்கு:

பயனர் முகவர்: googlebot

அனுமதி: / சோதனை /

தள வரைபடத்தைச் சேர்க்கவும்:

பயனர்-ஏஜென்ட்: *

அனுமதி: / சோதனை /

தள வரைபடம்: http://www.yourdomain.com/sitemap.xml

robots_txt_ visual

Robots.txt கோப்பை உருவாக்குவது எப்படி?

ஒரு சிறப்பு மொழி அல்லது தொழில்நுட்ப சிக்கல்கள் இல்லாததால் ஒரு robots.txt கோப்பை உருவாக்குவது மிகவும் எளிது. நீங்கள் இதை இரண்டு வழிகளில் செய்யலாம், ஒன்று கையேடு உருவாக்கம், மற்றொன்று கருவிகளைப் பயன்படுத்தி கோப்பை உருவாக்குவது.

கோப்பின் கையேடு உருவாக்கம் மேற்கண்ட பகுதியில் விவாதிக்கப்படுகிறது, எனவே கருவிகளின் பயன்பாட்டிற்கு செல்வோம், இது இன்னும் எளிமையானது. நீங்கள் robots.txt கோப்பு ஜெனரேட்டர் கருவிகளைப் பயன்படுத்தலாம் எஸ்சி புக், மெக்கானெரின், முதலியன.

Robots.txt கோப்பை சோதிக்கிறது.

நீங்கள் உருவாக்கிய கோப்பு சரியாக வேலை செய்யக்கூடும் அல்லது இல்லாமலும் இருக்கலாம். அதைச் சோதிக்க, நீங்கள் பயன்படுத்தலாம் robots.txt சோதனைக் கருவி. சோதனையாளர் கருவிக்கு நீங்கள் ஒரு URL ஐ சமர்ப்பிக்கலாம், கருவி உங்கள் சரிபார்க்க Googlebot செயல்படும் robots.txt கோப்பு மற்றும் உங்கள் URL சரியாக தடுக்கப்பட்டுள்ளதா என்பதை சரிபார்க்கிறது.சோதனைக் கருவி

கூகிள் வெப்மாஸ்டர்களுக்காக பட்டியலிடப்பட்ட சில படிகள் இங்கே உள்ளன, இது நீங்கள் உருவாக்கிய robots.txt கோப்பை சோதிக்க உதவும்:

சோதனை

Robots.txt கோப்பின் வரம்புகள்:

கிராலர்களை இயக்கும் போது robots.txt நம்பகமான ஒரு அங்கமாக இருந்தாலும், நடைமுறையில் கையாளும் போது அதற்கு இன்னும் சில வரம்புகள் அல்லது தீமைகள் உள்ளன.

1. கிராலர்களை கட்டாயப்படுத்த முடியாது, அவற்றை மட்டுமே இயக்க முடியும்: ஒரு குறிப்பிட்ட பாதை அல்லது URL ஐ அனுமதிக்க நாங்கள் robots.txt கோப்பைப் பயன்படுத்தும்போது, ​​அந்த குறிப்பிட்ட URL அல்லது கோப்பகத்தை குறியிட வேண்டாம் என்று வலை கிராலர்களைக் கேட்டுக்கொள்கிறோம், ஆனால் போட்களைத் திசைதிருப்ப கட்டாயப்படுத்தவில்லை. இந்த வலை கோப்பில் கொடுக்கப்பட்டுள்ள வழிமுறைகளுக்கு அனைத்து வலை கிராலர்களும் கீழ்ப்படியக்கூடாது. எனவே ஒரு குறிப்பிட்ட URL ஐத் தடுக்க, கடவுச்சொல் பாதுகாப்பு அல்லது மெட்டா குறிச்சொற்களைப் பயன்படுத்துவது போன்ற பிற முறைகள் செயல்படுத்தப்படலாம், அவை மிகவும் பயனுள்ள மற்றும் திறமையானவை.

2. ஒவ்வொரு கிராலருக்கும் தொடரியல் விளக்கம் வேறுபடலாம்: மேலே குறிப்பிட்டுள்ள தொடரியல் வலை கிராலர்களின் அதிகபட்ச சதவீதத்திற்கு நல்லது. ஆனால் சில கிராலர்கள் தொடரியல் புரிந்து கொள்ளாமல் இருக்கலாம் அல்லது அதை முற்றிலும் வேறுபட்ட முறையில் விளக்குவார்கள், இது உங்களை சிக்கலில் இழுக்கக்கூடும்.

3. பிற தளங்களிலிருந்து உங்கள் URL இன் குறிப்புகளை robots.txt ஆல் தடுக்க முடியாது: இது நடைமுறையில் robots.txt கோப்பின் முக்கிய குறைபாடுகளில் ஒன்றாகும். கூகிள் கிராலர்கள் எந்தவொரு குறிப்பிட்ட URL ஐ நேரடியாக தளத்திற்குள் வரும்போது கோப்பு அனுமதிக்காது. ஆனால் இதற்கு மாறாக, நீங்கள் தடுக்க விரும்பும் குறிப்பிட்ட URL ஐ வேறு ஏதேனும் வலைத்தளத்திலிருந்து குறிப்பிடும்போது, ​​கிராலர்கள் தங்களை இணைப்பிற்குள் தடுத்து நிறுத்த மாட்டார்கள், இதனால் தடுக்கப்பட்ட URL ஐ பட்டியலிடுகிறது.

எனவே, இவை நடக்காமல் தடுக்க, நீங்கள் போன்ற பிற பாதுகாப்பு முறைகளுடன் செல்ல வேண்டும் கடவுச்சொல் சேவையகத்திலிருந்து கோப்புகளைப் பாதுகாக்கும் or மெட்டா குறிச்சொற்களைப் பயன்படுத்துவதன் மூலம் (noindex, follow) robots.txt கோப்போடு.

Robots.txt ஐ மேம்படுத்துவதில் மாட் கட்ஸ் எதை எடுத்துக்கொள்கிறார் என்பதைச் சரிபார்க்கவும்

YouTube வீடியோ

 தனிப்பயன் ரோபோக்களைச் சேர்ப்பது. பிளாகருக்கு உரை

நான் ஏற்கனவே ஒரு கட்டுரை எழுதியுள்ளேன் மேம்பட்ட தேடுபொறி விருப்பத்தேர்வுகள் தனிப்பயன் robots.txt கோப்பைப் பற்றி நான் பேசினேன் பிளாக்கருக்கான மேம்பட்ட எஸ்சிஓ வழிகாட்டி. பொதுவாக, பிளாக்கருக்கு robots.txt கோப்பு இதுபோன்றது:

பயனர் முகவர்: மீடியாபார்ட்னர்கள்-கூகிள் அனுமதி:
பயனர்-ஏஜென்ட்: *
அனுமதி: / தேடல்
அனுமதி: /
தள வரைபடம்: https://www.alltechbuzz.net/feeds/posts/default?orderby=UPDATED

பின்பற்ற வேண்டிய படிகள்:

  1. உங்கள் பதிவர் டாஷ்போர்டைத் திறக்கவும்.
  2. செல்லவும் அமைப்புகள்தேடல் விருப்பத்தேர்வுகள் > கிராலர்கள் மற்றும் அட்டவணைப்படுத்தல் > தனிப்பயன் robots.txt > திருத்து> ஆம்.
  3. உங்கள் robots.txt குறியீட்டை அதில் ஒட்டவும்.
  4. மாற்றங்களைச் சேமி பொத்தானைக் கிளிக் செய்க.

வேர்ட்பிரஸுக்கு Robots.txt ஐ எவ்வாறு மேம்படுத்துவது:

வேர்ட்பிரஸைப் பொறுத்தவரை, இதைச் செய்வதற்கு எங்களிடம் பல செருகுநிரல்கள் உள்ளன. நீங்கள் மேலே செல்ல நான் பரிந்துரைக்கிறேன் Yoast செருகுநிரல் தேடல் விருப்பங்களை நிர்வகிக்க. எங்கள் கட்டுரையைப் பாருங்கள் Yoast எஸ்சிஓ அமைப்புகள் முழுமையான அமைப்புகளுக்கு.

வேர்ட்பிரஸ் இல் ஹோஸ்ட் செய்யப்பட்ட எந்த டொமைனுக்கும் நீங்கள் பயன்படுத்தக்கூடிய robots.txt கோப்பின் எடுத்துக்காட்டு கீழே:

தள வரைபடம்: http://www.yourdomain.com/sitemap.xml பயனர் முகவர்: * # இந்த கோப்பகங்களில் உள்ள எல்லா கோப்புகளையும் அனுமதிக்க வேண்டாம்: / cgi-bin / அனுமதி: / wp-admin / அனுமதி: / wp-include / Disallow: / wp-content / Disallow: / archives / disallow: / *? * அனுமதி: *? replytocom அனுமதி: / wp- * அனுமதி: / கருத்துகள் / ஊட்டம் / பயனர் முகவர்: மீடியாபார்ட்னர்கள்-கூகிள் * அனுமதி: / பயனர் முகவர்: கூகிள் போட் -பட அனுமதி: / wp-content / uploads / பயனர் முகவர்: Adsbot-Google அனுமதி: / பயனர் முகவர்: Googlebot-Mobile அனுமதி: /

உங்கள் robots.txt கோப்பை நீங்கள் மேம்படுத்தியவுடன், முதலில் உங்கள் கோப்பை சோதிக்க பரிந்துரைக்கிறேன் Google வெப்மாஸ்டர் கருவிகளில் robots.txt சோதனையாளர்.

alltechbuzz க்கான robots.txt சோதனை

எனவே, அது உதவியது என்று நம்புகிறேன். உங்கள் கருத்துக்களில் robots.txt தேர்வுமுறை குறித்து உங்களுக்கு ஏதேனும் சந்தேகம் இருந்தால் எனக்குத் தெரியப்படுத்துங்கள்.

ஆசிரியர் பற்றி 

இம்ரான் உடின்

இம்ரான் உடின் இந்தியாவிலிருந்து ஒரு தொழில்முறை பதிவர் மற்றும் ஆல் டெக் பஸ்ஸில், பிளாக்கிங், டிப்ஸ் எப்படி, ஆன்லைனில் பணம் சம்பாதிப்பது போன்றவற்றைப் பற்றி எழுதுகிறார்.


email "மின்னஞ்சல்": "மின்னஞ்சல் முகவரி தவறானது", "url": "வலைத்தள முகவரி தவறானது", "தேவை": "தேவையான புலம் இல்லை"}