Sejauh yang saya tahu, tidak ada bot atau aplikasi yang meminta sitemap.xml tanpa diberi tahu harus ada di sana. Sebagian besar situs mungkin tidak memilikinya, dan dari situs yang melakukannya, banyak yang menggunakan gzip, dan banyak yang menyebut file itu sesuatu yang lain atau meletakkan peta situs dalam subfolder.
Ini semua yang saya tahu:
- favicon.ico
Memberi Anda ikon halaman di tab, bookmark, dll.
- robots.txt
Berguna jika Anda perlu memblokir halaman apa pun dari mesin pencari, tetapi bisa kosong untuk memungkinkan akses ke semuanya. Itu juga dapat memuat lokasi untuk sitemap Anda.
- File verifikasi Alat Webmaster
Metode verifikasi termudah (menyimpan memiliki tag meta yang tidak berguna dalam kode HTML Anda). Ada google[hash].html
dan BingSiteAuth.xml
. Saya memiliki satu untuk Yahoo di root saya juga, tetapi itu mungkin tidak lagi diperlukan.
- crossdomain.xml
File ini diminta oleh Adobe Flash setiap saat Flash perlu terhubung ke situs Anda. Anda mungkin tidak akan pernah melihat file ini di log Anda di situs kecil, tapi saya punya banyak permintaan untuk itu di satu situs. Anda bisa membuat file kosong karena defaultnya adalah memblokir akses ke situs eksternal.
- .htaccess (Apache)
Jelas tidak diminta oleh browser / bot tetapi penting untuk sebagian besar situs.
Terakhir, terkait dengan ikon yang diminta oleh iPhone untuk diminta: ada beberapa ukuran yang mungkin diminta. IPhone 3G saya (iOS 5) meminta versi 57x57 dan saya melihat 72x72 dan 114x114 (paling umum) di log kesalahan saya. Jadi, jika Anda ingin menghilangkan semua 404 dari log Anda, dengan pikiran-bogging Anda perlu menyediakan semua ini:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png