Saya mengerti bahwa ini adalah pertanyaan yang cukup lama dan memiliki jawaban yang cukup bagus. Tapi, ini dua sen saya demi kelengkapan.
Sesuai dokumentasi resmi , ada empat cara, Anda dapat mengizinkan akses penuh untuk robot untuk mengakses situs Anda.
Bersih:
Tentukan pencocok global dengan segmen larang seperti yang disebutkan oleh @unor. Jadi /robots.txt
penampilan Anda seperti ini.
User-agent: *
Disallow:
Retasan:
Buat /robots.txt
file tanpa konten di dalamnya. Yang akan secara default mengizinkan semua untuk semua jenis Bots
.
Saya tidak peduli:
Jangan buat /robots.txt
sama sekali. Yang seharusnya menghasilkan hasil yang sama persis dengan dua di atas.
Jelek:
Dari dokumentasi robot untuk tag meta , Anda dapat menggunakan tag meta berikut pada semua halaman Anda di situs Anda untuk memberi Bots
tahu bahwa halaman ini tidak seharusnya diindeks.
<META NAME="ROBOTS" CONTENT="NOINDEX">
Agar ini diterapkan ke seluruh situs Anda, Anda harus menambahkan tag meta ini untuk semua halaman Anda. Dan tag ini harus ditempatkan secara ketat di bawah HEAD
tag halaman Anda. Lebih lanjut tentang tag meta ini di sini .