Pertanyaan yang diberi tag «web-crawlers»

Saya telah memigrasi situs ke domain baru. Situs itu sendiri cukup mudah (menggunakan Jekyll), dan semuanya telah berjalan dengan baik - kecuali migrasi utas Disqus. Saya sudah sebagian berhasil - beberapa utas telah berhasil bermigrasi, tetapi tidak semua. Saya sudah mencoba panduan migrasi domain (yang menangkap beberapa), URL mapper (yang …

9 web-crawlers 

Saya telah menggunakan Ask.comsebagai salah satu mesin pencari untuk melakukan ping sitemap saya. Ketika saya pergi untuk melakukan ping sitemap saya hari ini agar sitemap saya diindeks ulang, situs web ( http://submissions.ask.com/ping ) mengatakan sudah tidak ada lagi? Saya melakukan pencarian DNS submissions.ask.comdan sepertinya Ask.comtelah menghapus subdomain, tetapi FAQ Perayap …

9 search-engines  sitemap  web-crawlers  ping 

Saya memiliki situs yang, karena alasan pengaturan, mungkin tidak diindeks atau dicari secara otomatis. Ini berarti bahwa kita harus menjauhkan semua robot dan mencegah mereka dari spidering situs. Jelas kami sudah memiliki file robots.txt yang melarangnya sejak awal. Namun, mengamati file robots.txt adalah sesuatu yang hanya dilakukan oleh robot berperilaku …

9 apache  web-crawlers  user-agent 

Saya telah melihat beberapa kesalahan 404 ketika ads.txt diminta pada beberapa situs yang saya kelola. Saya kira jawabannya mungkin identik dengan pertanyaan tentang file robots.txt kosong atau tidak ada file sama sekali (hanya mencegah beberapa 404 kesalahan). Namun saya mengalami kesulitan untuk memahami konsep dasar di balik ads.txt. Halaman bantuan …

9 web-crawlers  advertising 

Saya ingin menolak archive.ismemiliki akses ke situs web saya. (Saya tidak ingin situs web ini men-cache milik saya tanpa persetujuan saya). Apakah Anda tahu itu mungkin?

8 web-crawlers  noarchive 

Istri saya bekerja di sebuah sekolah menengah di Jerman. Baru-baru ini saya memperhatikan bahwa sangat sulit untuk menemukan beranda sekolah itu menggunakan Google. Saya melihat kode sumber halaman dan saya yakin saya telah menemukan alasannya: Ada dua <meta name="robots">tag; satu adalah <meta name="robots" content="all"> dan yang kedua, lebih jauh ke …

8 seo  web-crawlers  meta-robots 

Jika saya membuat halaman statis di domain (http://www.domain.com/page.html), dapatkah crawler masih melihatnya jika tidak ada tautan ke mana pun di situs?

8 web-crawlers