Anda dapat mengetahui URL yang dicekal melalui Webmaster tools. Untuk
mengetahui berapa banyak url yang dicekal di blog anda silahkan masuk ke
webmaster tools pilih web anda yang ingin anda lihat url yang di cekal
kemudian pilih perayapan > Url yang dicekal. Lihat berapa banyak url
yang dicekal di blog anda.
Berikut solusi bagaimana cara
memperbaiki URL yang di cekal oleh Robot.txt.
1. Pergi ke Setelan > Preferensi dan penelusuran
2. Pada kolom Perayap dan pengindeksan,
3. Klik Edit di bagian kanan robots.txt khusus.
4. Masukan kode dibawah ini
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap: http://the-dafaadytia.blogspot.com/feeds/posts/default?orderby=updated
"ganti warna merah dengan URL blog anda"
6. Centang Ya untuk mengaktifkan.
7. Simpan perubahan.
Tunggu kurang lebih 2 sampai tiga hari untuk memulihkan situs anda.