Saya yakin Anda akan menikmati Teori Klasifikasi: Survei Kemajuan Terbaruoleh Boucheron, Bousquet, dan Lugosi. Secara khusus, ini dimulai dengan membangun teori generalisasi dasar melalui kompleksitas Rademacher, memperkenalkan beberapa alat yang berguna (seperti prinsip kontraksi, yang buktinya dapat Anda lacak dalam catatan Shai & Shai yang dirujuk dalam jawaban oleh Ashwinkumar, tetapi (saya percaya?) Berasal dari buku probabilitas oleh Ledoux & Talagrand, yang tidak gratis), dan menerapkannya pada metode klasifikasi standar (meningkatkan dan mendukung mesin vektor dibahas, baik karena popularitasnya, dan karena mereka dilatih melalui ERM). Teks ini berasal dari 2005, jadi ia juga memiliki beberapa topik lain yang agak baru saja Anda sebutkan, misalnya Kompleksitas Peneliti Lokal, dan bahkan ada steker kecil untuk dirantai. Terakhir, sementara naskahnya cukup pendek,
Beberapa topik lain yang Anda sebutkan sudah cukup tua untuk berada dalam "Teori Probabilistik Pengenalan Pola" oleh Devroye, Györfi, dan Lugosi (khususnya, ia memiliki lebih banyak tentang pengemasan daripada teks lain yang saya tahu). Meskipun tidak memiliki beberapa topik baru yang Anda sebutkan, ini adalah buku standar yang semua orang yang saya temui dalam teori belajar telah dilakukan di rak mereka. Mungkin mencoba mencari daftar isi dan indeks untuk buku itu, dan membacanya.
Beberapa topik lain yang Anda sebutkan saya belum melihat diperlakukan secara menyeluruh dalam sebuah buku, tetapi mereka telah muncul di sejumlah catatan saja. Misalnya, jika Anda membuka halaman Sham Kakade di UPenn , Anda akan menemukan tautan ke dua mata kuliah teori belajar (satu di TTI-C, dengan Ambuj Tewari), dan Anda akan melihat tautan topik cocok dengan beberapa hal yang telah Anda diskusikan , dan belum muncul di jawaban saya atau di tempat lain. Ada banyak kursus bagus di berbagai sekolah; Avrim Blum memiliki catatan yang sangat bagus dan sangat mudah dibaca untuk kursus teori belajarnya (analisisnya tentang winnow adalah yang terpendek, terbersih, dan paling intuitif yang pernah saya lihat!).
Beberapa di antaranya mungkin agak terlalu baru, dan Anda harus pergi ke materi sumber. Tetapi jika Anda benar-benar hanya mencoba untuk mengambil sekumpulan teknik, saya pikir survei di bagian atas dan kuliah untuk beberapa kelas teori belajar akan melayani Anda jauh.
Juga, Anda terdengar seperti sedang mencari teks tingkat lanjut, tetapi saya juga ingin menyambungkan dua teks pengantar yang sangat disukai orang. Salah satunya adalah "pengantar teori pembelajaran komputasi", oleh Kearns dan (U.) Vazirani, yang sementara tua (misalnya, meningkatkan disajikan hanya melalui konstruksi asli Robert Schapire, dan penekanannya pada PAC daripada pembelajaran agnostik), adalah disajikan dengan baik dan memiliki intuisi yang baik. Secara pribadi, saya mendapatkan dasar-dasar saya dalam Pengantar teori pembelajaran statistik , oleh penulis yang sama dengan survei di atas (tetapi muncul dalam urutan Bousquet, Boucheron, Lugosi?); ini memiliki eksposisi yang bagus dan pertama kalinya teori generalisasi benar-benar mulai mengklik untuk saya.