Pada dasarnya robots.txt berperan utama untuk mencekal halaman tertentu agar tidak muncul dihasil pencarian dan juga untuk mencekal robots-robots tertentu. Secara default, blogger telah memasang robots.txt di blog kita untuk mengijinkan perayap tertentu mengindeks dan menampilkan blog kita di hasil penelusuran.
Namun pada kenyataannya robots.txt terkadang juga mengganggu perayap adsense dan perayap mesin pencari (spider/bot). Sehingga Kartu Skor di akun adsense sering melaporkan ada url yang tidak bisa terindeks ataupun adanya permintaan iklan yang ditolak. Begitu juga di webmaster tools sering terlapor bahwa beberapa halaman tidak ditemukan karena dicekal oleh robots.txt.
 |
 |
Karenanya blogger menyediakan fitur untuk pengaturan robots.txt secara manual bagi para penggunanya agar bisa membantu optimasi blog kita bilamana mengalami masalah-masalah seperti di atas. Yaa.. blogger memang selalu dimutakhirkan tanpa henti.
Nah, sekarang marilah kita mulai cara memasang robots.txt secara manual dengan cara yang paling benar dan tepat. Jangan ragu-ragu lagi karena cara ini telah saya buktikan berdasarkan panduan resmi situs robots.txt yang juga dijadikan rujukan oleh google untuk mempelajari tentang apa itu robots.txt dan bagaimana cara penerapannya. Jika anda salah dalam penerapan, maka artikel anda akan diabaikan mesin telusur dan hilang dari SERP. Jadi harap hati-hati.
Mulai
1. Langsung saja sobat menuju dasbor blogger, lalu meluncur ke blog sobat, pilih setelan, dan klik Preferensi Penelusuran atau Search Preference yang ada di bagian bawah.
2. Cari fitur robots.txt, dan pilih robots.txt khusus. Lalu klik Edit, Aktifkan konten robots.txt khusus pilih Ya.
3. Kemudian cpoy dan pastekan kode robots.txt berikut ini di kolom tersebut.
User-agent: *
Disallow:
User-agent: Mediapartners-Google
Disallow:User-agent: *
Disallow: /search
Allow: /
Sitemap: http://juragancipir.blogspot.com/feeds/posts/default?orderby=UPDATED
4. Ganti tulisan merah dengan url blogsobat, lalu klik Simpan. Selesai.
Keterangan:
* Diperlukan waktu beberapa jam agar laporan tentang perayap adsense (mediapartners google) yang ditolak dan laman tidak ditemukan yang tadinya tertampil di akun adsense hilang. Hasilnya, iklan adsense akan lebih relevan dan earning/penghasilan/pendapatan akan naik.
* Selain perayap adsense, perayap mesin pencari (googlebot) juga akan sangat terbantu dalam menelusuri isi laman sehingga mudah untuk menampilkan konten kita di hasil pencarian. Hasilnya, trafik akan naik dan lebih dari biasanya.
Begitulah, semoga juragan bisa menikmati hasilnya setelah mencobanya.
- Berikut ini juragan bisa melihat informasi tentang cara menempatkan iklan google adsense paling tepat dan efektif untuk meningkatkan earning adsense. Silakan baca dibawah ini;
Cara Memasang Iklan Adsense Disamping Artikel Postingan
Memasang iklan ppc atau google adsense sejajar dengan paragraf pertama atau berdampingan dengan artikel pada bait pertama sangat berpotensi menaikkan penghasilan/earning google adsense. Terutama jika iklan berada disamping kiri artikel. Karena pandangan pengguna akan lebih condong kesamping kiri jika mereka sedang membaca isi bacaan. Selain itu perhatian pembaca akan lebih terfokus di sebelah kiri, karena setiap mereka membaca setiap kalimat-kalimat pasti selalu dimulai dari sebelah kiri secara berulang-ulang.
Berikutnya>> Cara Mudah Meningkatkan Pendapatan Adsense Dengan Saluran Khusus
kalo cara nampilin laman utk iklan gimana y gan??soal ny blog ane pada menu tamplete ny g bisa ditambah gadget untuk Adsense??harus gmn gan??
harus buat widget baru di menu gan. cari di google pakai kata kunci "cara menambah gadget dibawah header". thanks mampirnya.
saya coba dulu gan,saya kan liat hasilnya besok,kalau berhasil makasih banget 😀
Silakan dicoba masbray,,, semoga berhasil. Makasih kunjungan perdananya…
saya pake ini bisa gak gan?<br />User-agent: Mediapartners-Google<br />User-agent: Googlebot<br />Disallow: /search<br />Disallow: /?m=1<br />Disallow: /?m=0 <br />Disallow: /*?m=1<br />Disallow: /*?m=0<br />User-agent: *<br />Disallow: /search<br />Sitemap: http://www.bmaster23.blogspot.com/feeds/posts/default?orderby=UPDATED
Bisa juga tuh mas,,, itu malah ada tambahannya utk mencekal duplikasi deskripsi meta dan duplikasi tag judul. Tinggal nambahin "noarchive" makin manteb dech.<br /><br />Tapi saya gak tahu cara menambahkan noarchive disitu, krn saya blm mempelajarinya, ntar takut salah, hehehe 🙂
kalau settingan Tag Header Robot Khusus Blogspot untuk Google Adsense gimana gan/ agar cepat terindeks ? makasih
Wah,,, kalau settingan Tag Header Robot Khusus Blogspot untuk Google Adsense saya belum tahu mas,,, krn saya belum pernah mencobanya…<br />Jadi saya gak berani mengira-ngira aja…
makasih ya gan udah membantu makasih atas infonya
makasih sama2 mas ^_^
untuk mengatasi tag judul yang hilang gimana mbak? apa sama dengan cara diatas?
Untuk menghilangkan tag judul yang hilang dan semua duplikat penelusuran (penyempurnaan html), tambahkan kode berikut ini tepat dibawah <b>Disallow: /search</b><br /><br />Disallow: /?m=1<br />Disallow: /?m=0 <br />Disallow: /noarchive<br />Disallow: /*?m=1<br />Disallow: /*?m=0<br />Disallow: /*noarchive
Terima kasih gan atas bantuan nya gan sangatlah membantu gan semoga berhasil aja ini gan all nya berkali kali saya udah coba di tolak terussssss cape deh
jangan putus asa mas 🙂 suatu saat akan berhasil jka terus berusaha :)<br />makasih juga kunjungannya 😀
Penghasilan sy turun drastis sampe 50% mbak mulai 30 Desember 2013 kemarin, hari ini kartu skor memperingatkan ada laman tidak ditemukan dan robot ditolak, tp robot txt sudah spt mbak indri diatas, apa lagi yg hrs dilakukan,, hiks<br />
hahaha saya kira cuma saya sendiri, ternyata mas Tatang juga mengalaminya 😀 benar apa yg mas Tatang sampaikan, memang sejak akhir desember hingga awal januari ini penghasilan menurun drastis, saya juga drop bahkan 50% lebih :P<br />saya baca di google, biasanya penyebabnya adalah karena pengiklan mengurangi anggaran kampanye mereka pada musim2 tertentu 😉
terimakasih atas triknya.<br />Follback http://inferter.blogspot.com/
Salam kenal Gan . saya @Rinal Purba bagaimana pendapat adnda dengang ini gan .. saya baca postinganya kawan ini dia menghilankan tulisan search nya.http://faridelly.blogspot.com/2014/02/kesalahan-memahami-url-dicekat-robottxt.html
sepertinya penerapan langsung ke dasboard blogger perlu teliti ya mbak, soalnya saya pernah menerapkannya tetapi terjadi kesalahan 😀
mbk, numpang tanya ni…<br /> iklan di blog saya yang di header bisa tampil, tapi yang di single post kok gak bisa tampil ya? mohon solusinya… terimakasih<br />http://dadimaster.com
mbk, numpang tanya ni…<br />iklan di blog saya yang di header bisa tampil, tapi yang di single post kok gak bisa tampil ya? mohon solusinya… terimakasih<br />http://dadimaster.com
Mbak Indri tadi rrobot txt kusus punya ku sudah aku intip teryata alamatnya sudah ada tinggal memilih ya saja beda nya dengan punya mbak punya ku tidak pakai blogspot kalau seperti itu benar ga Mbak,<br />semakin hari pengunjung curhatnya semakin banyak aja Mbak bagi tipnya dong,tapi kalau boleh
saya sering sekali di tolak gan. Udah 10 kali di coba, gagal maning..
Selamat siang Mba Indri,
saya baru coba menerapkan codenya di robot.txt.
hasilnya nanti sayakabarin lagi disini.
terimakasih artikelnya …Top
selamat siang Mba Indri,
saya sudah terapkan codenya selama 24 jam lebih, tapi tidak ada perubahan.
1 post saya tidak bisa di crawl sama adsense, post itu sudahlama saya hapus dialat webmaster.
ini post nya yang tidak ter crawl sama adsense:
http ://tips-trick-idea-forbeginnerspainters.blogspot. com/hashtag
terimakasih
Salam Kenal
kalau postnya sdh gak ada biarin aja adsense gak bisa mengcrawler, ntar akan hilang sendiri juga kesalahan perayapannya 😀
Oh begitu ya Mba Indri?
satu pertanyaan lagi Mba, bolehkah iklan adsense ditempel di blog iklan gratis bersama dengan PPC lain?
terimakasih Mba Indri…
boleh aja asalkan iklan lainnya tersebut juga mematuhi kebijakan program adsense 😀
Selamat pagi Mba Indri,
terimakasih daftar crawl diadsensenya sudah kosong berarti perlu beberapa hari untuk menunggunya.
sebagaimana kita ketahui crawler adsense berbeda dengan cara mengcrawler nya google kan Mba?
nah, caranya menghilangkan kesalahan perayapan di alat webmaster gimana Mba?
terimakasih Mba Indri…
Salam…
pagi juga mas Asep, silakan disearching di blog ini dengan kw cara memperbaiki kesalahan perayapan di webmaster tools 😀
Terimakasih Mba Indri,…
akan saya terapkan ilmunya, nanti hasilnya di infokan
Salam
mba kalau adsense boleh disandingkan dengan iklan affiliasi lain tidak dalam satu blog?misalkan saya kerjasama dengan pihak lain untuk memasang iklan nya di blog saya yang sudah ada adsensenya?trims
saya dulu pernah melakukan kerjasama seperti itu dan akhirnya blog saya dibanned karena si pengiklan menambahkan konten dewasa di blognya tanpa sepengetahuan saya alias melanggar perjanjian 🙁
akhirnya semua uangnya saya kembalikan lagi dan saya skrg tidak melayani pemasangan banner iklan mandiri daripada penghasilan utama dari GA hilang 😀
Wah baru ngerti ni Mba, makasih dah berbagi….
Tapi saya jadi timbul pertanyaan nih tolong di replay ya?
Kalo untuk Tag Tajuk Robot Khusus sebaiknya di aktifkan atau di non aktifkan Mba?
Kalo jawabannya di aktifkan caranya bagaimana?
Matursuwun and salam sukses, eh ditunggu jawabannya ya Mba
jika sebelumnya TIDAK pernah terjadi kesalahan perayapan, tag tajuk robots.txt khusus sebaiknya di nonaktifkan aja gak perlu diutak atik 😀
mantab artikelnya mbak,,, tapi saya msh blum bisa menerapkannya,,,,, msh newbie
tengyu mba indri mau lgsg saya coba tips nya..