k-NN menggeneralisasi dalam arti yang sangat terbatas. Ini hanya menggunakan kelancaran prior (atau asumsi kontinuitas). Asumsi ini menyiratkan bahwa pola yang dekat dalam ruang fitur kemungkinan besar milik kelas yang sama. Tidak ada keteraturan fungsional dalam distribusi pola yang dapat dipulihkan oleh k-NN.
Dengan demikian, diperlukan sampel pelatihan yang representatif, yang bisa sangat besar terutama dalam kasus ruang fitur yang sangat dimensional. Lebih buruk lagi, sampel ini tidak tersedia. Akibatnya, ia tidak dapat mempelajari invarian. Jika pola dapat mengalami beberapa transformasi tanpa mengubah labelnya, dan sampel pelatihan tidak mengandung pola yang ditransformasikan dalam semua cara yang dapat diterima, k-NN tidak akan pernah mengenali pola transformasi yang tidak disajikan selama pelatihan. Ini benar, misalnya, untuk gambar yang digeser atau diputar, jika mereka tidak diwakili dalam beberapa bentuk invarian sebelum menjalankan k-NN. k-NN bahkan tidak bisa abstrak dari fitur yang tidak relevan.
Contoh lain yang agak artifisial adalah mengikuti. Bayangkan bahwa pola milik kelas yang berbeda didistribusikan secara berkala (misalnya sesuai dengan sinus - jika kurang dari 0, maka pola milik satu kelas, dan lebih besar, maka pola milik kelas lain). Set pelatihan terbatas. Jadi, itu akan berlokasi di wilayah yang terbatas. Di luar wilayah ini, kesalahan pengenalan adalah 50%. Orang dapat membayangkan regresi logistik dengan fungsi basis periodik yang akan berkinerja lebih baik dalam kasus ini. Metode lain akan dapat mempelajari keteraturan lainnya dalam distribusi pola dan memperkirakan dengan baik.
Jadi, jika seseorang menduga bahwa kumpulan data yang tersedia tidak representatif, dan invariansi terhadap beberapa transformasi pola harus dicapai, maka ini adalah kasusnya, di mana seseorang harus bergerak melampaui k-NN.