Terdapat banyak perkara yang perlu anda ketahui dan pelajari dalam blog. Anda tidak akan pernah sempurna dalam apa jua bidang kerana terdapat banyak perkara yang lebih besar dan lebih baik yang akan anda ketahui di sepanjang jalan. Malah perkara dan fail yang sangat kecil di laman web anda sangat penting dari segi kedudukan Google dan SEO secara keseluruhan. Salah satunya ialah fail " robots.txt ". Pada mulanya, apabila saya mula menulis blog, saya sebenarnya tidak tahu apa itu fail ini dan kepentingan fail ini. Jadi, saya membuat banyak kajian daripada pelbagai sumber dan memahami kegunaannya yang tepat dan betapa pentingnya ia dalam SEO. Ramai blogger baru tidak tahu apa itu robots.txt dan kegunaannya, jadi saya terfikir untuk menulis artikel deskriptif yang sempurna mengenainya.
Apakah fail Robots.txt?
Robots.txt adalah fail teks yang sangat kecil yang terdapat di akar laman web anda. Seperti yang anda ketahui, perayap dan labah-labah web bertanggungjawab untuk pengembangan keseluruhan rangkaian web. Sebaik-baiknya, perayap ini dapat merangkak ke mana-mana halaman atau mana-mana URL yang ada di web, bahkan yang bersifat peribadi dan tidak boleh diakses.
Itu tidak menyekat orang untuk mengakses kandungan anda.
Untuk mengawal fail yang anda mahu akses dan hadkan perayap, anda boleh mengarahkannya menggunakan fail robots.txt. Robots.txt bukan fail html, tetapi labah-labah mematuhi apa yang dinyatakan oleh fail ini. Fail ini bukanlah sesuatu yang melindungi laman web anda secara langsung dari ancaman luaran, tetapi hanya meminta bot perayap untuk tidak memasuki kawasan tertentu di laman web anda.
Di mana anda mencari fail robots.txt?
Lokasi fail ini sangat penting bagi perayap untuk mengenalinya. Jadi, mesti ada di direktori utama laman web anda.
http://youdomain.com/robots.txt
Di sinilah bot dan anda juga dapat mencari fail dari mana-mana laman web. Sekiranya perayap tidak menemui fail di direktori utama, mereka hanya menganggap bahawa tidak ada fail robot untuk laman web dan di sana dengan mengindeks semua halaman laman web tersebut.
Struktur Asas fail Robots.txt
Struktur failnya sangat mudah dan sesiapa sahaja dapat memahaminya dengan mudah. Sebilangan besarnya terdiri daripada 2 komponen iaitu ejen Pengguna dan Tidak dibenarkan.
sintaks:
Ejen pengguna:
Larang:
Pemahaman Lengkap Pengecualian dengan Contoh
Pertama sekali, anda harus tahu apa maksud sebenar komponen tersebut dan fungsinya. "Ejen pengguna" ialah istilah yang digunakan untuk menentukan perayap enjin carian, sama ada Google, Yahoo atau mana-mana enjin carian. "Tidak membenarkan" ialah istilah yang digunakan untuk menyenaraikan fail atau direktori dan mengecualikannya daripada senarai perayap.
Pengecualian Direktori atau Folder:
Pengecualian asas yang digunakan oleh kebanyakan laman web adalah,
Agen-pengguna: *
Tidak dibenarkan: / ujian /
Di sini, * menunjukkan semua perayap mesin carian. Tidak membenarkan / menguji / menunjukkan bahawa folder dengan nama 'test' harus dikecualikan daripada dirayapi.
Pengecualian Fail:
Agen-pengguna: *
Tidak dibenarkan: /test.html
Ini menunjukkan bahawa semua perayap mesin carian tidak boleh merangkak fail bernama 'test.html'.
Pengecualian keseluruhan laman web:
Agen-pengguna: *
Larang: /
Penyertaan keseluruhan laman web:
Agen-pengguna: *
Larang:
OR
Agen-pengguna: *
Benarkan: /
Pengecualian Crawler Tunggal:
Ejen pengguna: googlebot
Tidak dibenarkan: / ujian /
Tambahkan Peta Laman:
Agen-pengguna: *
Tidak dibenarkan: / ujian /
Peta Laman: http://www.domainanda.com/sitemap.xml
Bagaimana Membuat fail robots.txt?
Membuat fail robots.txt sangat mudah kerana tidak ada bahasa khas atau komplikasi teknikal di sini. Anda boleh melakukan ini dengan dua cara, satu adalah pembuatan manual dan yang lain adalah membuat fail menggunakan alat.
Penciptaan fail secara manual dibincangkan di bahagian di atas, jadi mari kita beralih kepada penggunaan alatan, yang lebih mudah lagi. Anda boleh menggunakan alatan penjana fail robots.txt oleh SEOBook , Mcanerin, dsb.
Menguji fail robots.txt.
Fail yang anda buat mungkin berfungsi dengan baik atau tidak. Untuk mengujinya, anda boleh menggunakan alat penguji robots.txt. Anda hanya boleh menghantar URL ke alat penguji, Alat ini berfungsi seperti yang diperiksa oleh Googlebot robots.txt fail dan mengesahkan bahawa URL anda telah disekat dengan betul.
Berikut adalah beberapa langkah yang disenaraikan untuk webmaster oleh Google, yang akan membantu anda menguji fail robots.txt yang anda buat:
Batasan fail robots.txt:
Walaupun robots.txt adalah komponen yang layak dipercayai ketika mengarahkan perayap, ia masih mempunyai sedikit batasan atau kekurangan ketika ditangani secara praktikal.
1. Crawler tidak boleh dipaksa, mereka hanya boleh diarahkan: Apabila kita menggunakan fail robots.txt untuk tidak membenarkan laluan atau URL tertentu, kita hanya meminta crawler web untuk tidak mengindeks URL atau direktori tertentu itu tetapi tidak memaksa bot untuk mengalihkan. Dan semua crawler web mungkin tidak mematuhi arahan yang diberikan dalam fail ini. Jadi untuk menyekat URL tertentu, kaedah lain seperti perlindungan kata laluan atau penggunaan tag meta boleh dilaksanakan yang lebih berkesan dan cekap.
2. Tafsiran sintaks mungkin berbeza untuk setiap perayap: Sintaks yang dinyatakan di atas sesuai untuk peratusan maksimum perayap web. Tetapi hanya sedikit perayap yang mungkin tidak memahami sintaks atau mentafsirkannya dengan cara yang sama sekali berbeza, yang mungkin akan membawa anda ke dalam masalah.
3. Rujukan kepada URL anda dari laman web lain tidak dapat dihalang oleh robots.txt: Ini secara praktikalnya merupakan salah satu kelemahan utama fail robots.txt. Fail ini akan menghalang perayap Google daripada mengakses mana-mana URL tertentu, apabila mereka masuk terus ke laman web tersebut. Tetapi sebaliknya, apabila URL tertentu yang anda ingin sekat dirujuk dari laman web lain, maka perayap tidak akan menghalang diri mereka daripada masuk ke pautan tersebut, sekali gus menyenaraikan URL yang disekat.
Jadi, untuk mengelakkan perkara ini daripada berlaku, anda perlu menggunakan kaedah perlindungan lain seperti melindungi fail daripada pelayan dengan kata laluan atau dengan menggunakan tag meta (indeks, ikuti) bersama-sama fail robots.txt.
Periksa apa yang diambil Matt Cutts Mengoptimumkan robots.txt
Menambah Robot Custom. Teks ke Blogger
Saya telah menulis artikel tentang pilihan enjin carian lanjutan di mana saya membincangkan tentang fail robots.txt tersuai, dalam Panduan SEO Lanjutan untuk Blogger . Secara amnya, untuk blogger, fail robots.txt kelihatan seperti ini:
Ejen pengguna: Mediapartners-Google Larang:
Agen-pengguna: *
Tidak dibenarkan: / cari
Benarkan: /
Peta Laman: https://www.alltechbuzz.net/feeds/posts/default?orderby=UPDATED
Langkah-langkah untuk Ikut:
- Buka papan pemuka blogger anda.
- Navigasi ke Tetapan > Pilihan Carian > Perayap dan pengindeksan > Robot.txt tersuai > Edit> Ya.
- Tampal kod robots.txt anda di dalamnya.
- Klik butang Simpan Perubahan.
Cara Mengoptimumkan Robots.txt untuk Wordpress:
Untuk Wordpress, kami mempunyai banyak plugin untuk melakukan perkara yang sama. Saya cadangkan anda teruskan dengan Plugin Yoast untuk mengurus pilihan carian. Sila lihat artikel kami tentang Tetapan SEO Yoast untuk tetapan lengkap.
Di bawah ini adalah contoh fail robots.txt yang boleh anda gunakan untuk mana-mana domain yang dihoskan di wordpress:
sitemap: http://www.yourdomain.com/sitemap.xml Ejen pengguna: * # tidak membenarkan semua fail dalam direktori ini Larang: / cgi-bin / Larang: / wp-admin / Larang: / wp-termasuk / Tidak dibenarkan: / wp-content / Disallow: / archives / discallow: / *? * Larang: *? replytocom Larang: / wp- * Larang: / komen / suapan / Ejen pengguna: Mediapartners-Google * Benarkan: / Ejen pengguna: Googlebot -Image Allow: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: /
Sebaik sahaja anda mengoptimumkan fail robots.txt anda, saya sangat mengesyorkan anda untuk menguji fail anda terlebih dahulu menggunakan penguji robots.txt dalam Alat Webmaster Google.
Oleh itu, saya harap ia dapat membantu. Beritahu saya jika anda mempunyai keraguan mengenai pengoptimuman robots.txt dalam komen anda.
