Bisakah saya meminta Google untuk memeriksa robots.txt saya?

11

Saya membaca jawaban dalam pertanyaan ini, tetapi masih membiarkan pertanyaan saya terbuka: Apakah Google cache robots.txt?

Saya tidak menemukan cara di Alat Webmaster Google untuk meminta pengunduhan ulang robots.txt saya .

Melalui beberapa kesalahan, robots.txt saya diganti dengan:

User-agent: *
Disallow: /

Dan sekarang semua konten saya dihapus dari hasil pencarian Google.

Jelas, saya tertarik untuk memperbaiki ini sesegera mungkin. Saya sudah mengganti robots.txt , tetapi saya tidak dapat menemukan cara untuk membuat Google memperbarui versi yang di-cache.

masukkan deskripsi gambar di sini

google  google-search-console  robots.txt 
— Der Hochstapler
sumber
1
Hanya menolak semua halaman Anda di robots.txt seharusnya tidak cukup untuk sepenuhnya menghapusnya dari hasil Google, selama situs lain masih terhubung ke mereka.
— Ilmari Karonen
Hmm itu yang rumit. URL ZenCart tampaknya membingungkan bot web robots.txt dan sebelum Anda menyadarinya, Anda telah memblokir URL yang tidak ingin Anda blokir. Pengalaman saya adalah bahwa Anda lebih baik tanpa robots.txt, tetapi hanya menjaga situs web yang bersih. Saya kehilangan banyak tempat peringkat web karena kesalahan robots.txt ini memblokir URL yang valid. Karena ZenCart menggunakan URL dinamis, tampaknya membingungkan perayap web robots.txt yang mengakibatkan pemblokiran URL yang tidak Anda harapkan akan diblokir. Tidak yakin apakah itu terkait dengan penonaktifan kategori di ZenCart dan kemudian memindahkan produk dari kategori itu a

Jawaban:

10

Anda tidak dapat membuatnya mengunduh ulang robots.txt saat Anda menginginkannya. Google akan merayapi ulang dan menggunakan data baru setiap kali mereka merasa sesuai untuk situs Anda. Mereka cenderung menjelajahnya secara teratur sehingga saya tidak berharap akan membutuhkan waktu lama untuk menemukan file yang diperbarui dan halaman Anda dirayapi dan diindeks ulang. Ingatlah bahwa mungkin perlu waktu setelah file robots.txt baru ditemukan sebelum halaman Anda dirayapi kembali dan bahkan lebih banyak waktu bagi mereka untuk muncul kembali dalam hasil pencarian Google.

— John Conde
sumber
1
Menurut mereka, mereka memeriksa setiap hari atau lebih, tetapi mereka mungkin memeriksa lebih sering untuk situs yang sibuk. Lihat webmasters.stackexchange.com/a/32949/17430 .
— studgeek
1

Saya menghadapi masalah yang sama ketika saya memulai situs web baru saya www.satyabrata.compada 16 Juni.

Saya punya Disallow: /di robots.txt saya , persis seperti Oliver. Ada juga pesan peringatan di Alat Webmaster Google tentang URL yang diblokir.

Masalahnya diselesaikan kemarin, 18 Juni. Saya melakukan yang berikut. Saya tidak yakin langkah mana yang berhasil.

  1. Kesehatan -> Ambil sebagai Google: robots.txt dan beranda. Lalu, kirim ke indeks.
  2. Pengaturan -> Domain yang dipilih: Menampilkan URL sebagai www.satyabrata.com
  3. Optimasi -> Peta Situs: Menambahkan peta situs XML.

Pesan peringatan tentang URL yang diblokir hilang sekarang dan robots.txt baru ditampilkan diunduh di Alat Webmaster Google.

Saat ini, saya hanya memiliki dua halaman yang diindeks di Google, halaman utama dan robots.txt . Saya punya 10 halaman di situs web. Saya berharap sisanya akan segera diindeks.

— Satyabrata Das
sumber
0

Saya punya masalah ketika gambar dipindahkan ke server CNAME yang terpisah dan larangan meletakkan di folder gambar. Cara saya menghapusnya adalah membuat robots.txt diambil di Alat Webmaster membaca halaman web sebagai alat Google. Setelah diberitahukan bahwa itu telah diambil dan dibaca robots.txt, saya mengirimkannya. Ini mematahkan embargo tiga bulan pada pemindaian gambar di mana Google melaporkan sedang membaca file robots.txt tetapi tidak mengubah spideringnya agar sesuai dengan aturan yang diubah untuk mengizinkan folder gambar. Dalam seminggu, gambar diindeks lagi.

Mungkin patut dicoba. Google diketahui kadang-kadang macet dan gagal membaca ulang file.

— Laboratorium Fiasco
sumber
Mereka membaca kembali file tersebut sekitar 6 jam setelah saya diposting. Semuanya kembali normal sekarang.
— Der Hochstapler
Wah! Kembali ke jalur itu!
— Fiasco Labs
Saya mencoba meminta alat webmaster untuk mengambil robots.txt, mengeluh itu ditolak oleh robots.txt :). Jadi ternyata trik itu tidak akan berfungsi jika Anda memiliki robots.txt melakukan blok penuh.
— studgeek
Sama di sini ... Permintaan untuk robots.txt ditolak oleh robots.txt! Hah!
— Kasapo
Whelp, jika Anda menaruh deny pada root maka saya kira Anda semacam SOL. Dalam kasus saya, itu adalah subfolder yang ditolak, jadi memaksa membaca ulang robot.txt melalui mekanisme yang disediakan benar-benar berfungsi.
— Fiasco Labs
-1

Dalam kasus saya masalahnya adalah saya menggunakan layanan DNS gratis yang disebut fear.org.

(domain gratis saya berakhir di .us.to)

Setelah saya beralih ke TLD, itu mulai berfungsi.

— Stefan Monov
sumber
Saya tidak melihat apa kaitan DNS atau memiliki situs gratis dengan robots.txt atau menyuruh Google untuk mengambilnya kembali.
— Stephen Ostermiller
@StephenOstermiller: Saya juga tidak melihat, tetapi kenyataannya, ini membantu dalam kasus saya.
— Stefan Monov
Itu membantu Google memeriksa robots.txt Anda?
— Stephen Ostermiller
@StephenOstermiller: Ya.
— Stefan Monov
Dengan menggunakan situs kami, Anda mengakui telah membaca dan memahami Kebijakan Cookie dan Kebijakan Privasi kami.
Licensed under cc by-sa 3.0 with attribution required.