Di mana harus memulai dengan statistik untuk pengembang yang berpengalaman

Selama paruh pertama 2015 saya melakukan kursus coursera Machine Learning (oleh Andrew Ng, GREAT course). Dan mempelajari dasar-dasar pembelajaran mesin (regresi linier, regresi logistik, SVM, Jaringan Neuronal ...)

Saya juga telah menjadi pengembang selama 10 tahun, jadi belajar bahasa pemrograman baru tidak akan menjadi masalah.

Akhir-akhir ini, saya sudah mulai belajar R untuk mengimplementasikan algoritma pembelajaran mesin.

Namun saya menyadari bahwa jika saya ingin terus belajar saya akan memerlukan pengetahuan statistik yang lebih formal, saat ini saya memiliki pengetahuan non-formal tentang itu, tetapi sangat terbatas sehingga, misalnya, saya tidak dapat menentukan dengan tepat mana dari beberapa model linier akan lebih baik (biasanya saya cenderung menggunakan R-square untuk itu, tetapi tampaknya itu bukan ide yang sangat bagus).

Jadi bagi saya kelihatannya cukup jelas bahwa saya perlu mempelajari dasar-dasar statistik (saya mempelajarinya secara uni tetapi lupa sebagian besar), di mana saya harus belajar, perlu diketahui bahwa saya tidak benar-benar membutuhkan kursus yang sepenuhnya komprehensif, hanya sesuatu bahwa dalam sebulan memungkinkan saya cukup tahu sehingga saya bisa bersemangat dan belajar lebih banyak :).

Sejauh ini saya telah membaca tentang " Statistik tanpa air mata ", ada saran lain?

Saya akan menyarankan Anda peta jalan dasar tentang bagaimana cara melakukannya:

• Anda dapat mempelajari matematika dan statistik dasar di Khan Academy, dan / atau mengikuti kursus Intro to Statistics oleh Udacity .
• Lalu, Anda bisa mengikuti dua kursus bagus Udacity ini. Statistik Deskriptif dan Statistik Inferensial
• Kemudian, Anda bisa melihat beberapa statistik Bayesian. Dan salah satu sumber daya terkait terbaik di web yang saya temukan adalah e-book gratis Think Bayes
• Kemudian, selami dasar-dasar Pembelajaran Mesin. Kursus Andrew Ng Coursera adalah awal yang sempurna. Dan sumber daya ini: Pembelajaran Mesin untuk pengembang juga sangat berguna untuk membaca sekilas konsep dengan cepat.
• Kemudian, Anda sendirian. Anda memiliki sumber daya dan blog yang cukup di internet untuk membangun konsep-konsep ini.

Bonus:

Situs luar biasa untuk peta jalan semacam itu adalah Metacademy , yang secara pribadi akan saya yakini sebagai salah satu sumber daya Ilmu Data terbaik di web.

Gitxiv adalah situs cantik lain, yang menghubungkan makalah penelitian Arxiv tentang Ilmu Data dengan implementasi / pustaka sumber terbuka yang relevan.

Sudahkah Anda mengecek Think Stats atau Think Bayes - keduanya buku statistik (gratis) yang ditujukan untuk programmer dan dengan banyak kode Python.

Juga, jika Anda tertarik untuk belajar R maka CRAN memiliki banyak (gratis) PDF yang Anda mungkin ingin memeriksa, seperti Pengantar Probabilitas dan Statistik Menggunakan R . Ada juga kursus Coursera yang menggunakan R yang sangat disukai banyak orang (mereka menggunakan buku teks ini , yang mungkin ingin Anda periksa juga, dan memiliki laboratorium di DataCamp , saya percaya).

Juga, jika Anda ingin memoles beberapa topik Statistik Anda selalu dapat menonton beberapa video di Khan Academy .

Jika Anda pernah, bahkan di masa lalu, mampu memecahkan masalah dalam daftar ini , maka Anda harus mencoba mempelajari statistik yang diterapkan "dengan benar". Saya akan memberi Anda algoritma dua langkah sederhana.

Pertama, dapatkan kecepatan dengan teori probabilitas. Ada banyak buku bagus. Favorit saya adalah buku klasik karya Feller. Ini disebut "Pendahuluan" tetapi jangan tertipu oleh judul, itu sedalam yang Anda inginkan, namun ditulis dengan sangat baik dan sederhana jika Anda hanya ingin membaca sekilas permukaannya.

Langkah kedua adalah statistik. Sekali lagi, ada banyak buku bagus. Saya akan memberi Anda satu yang saya gunakan, teks intro yang layak oleh Gujarati "Basic Econometrics", Edisi Keempat. Ekonometrika adalah statistik yang diterapkan pada ekonomi. Untuk referensi, seorang pria yang semua orang berpikir mengatakan bahwa ilmuwan data akan menjadi pekerjaan terseksi dalam 10 tahun ke depan adalah Hal Varian, seorang ekonom Berkeley. Banyak hal pembelajaran mesin didasarkan pada statistik dasar, regresi dll. Semua yang tercakup dalam buku ini, dan Anda tidak perlu membaca semuanya, itu ditulis sedemikian rupa sehingga Anda dapat memilih bab dalam urutan Anda sendiri.

Anda akan terkejut melihat berapa banyak celah yang dibiarkan terbuka setelah kelas Ng terisi dengan cepat saat membaca teks-teks ini.

Sebagai seorang praktisi, Anda tidak perlu terlalu banyak teori setelah dua langkah ini. Anda dapat terus mempelajari teknik ML secara khusus membaca buku-buku di bidang ini. Sangat penting untuk tidak terlalu dalam pada awalnya dalam probabilitas dan statistik. Dapatkan kode Anda untuk ML pertama, dan isi kesenjangan saat Anda pergi.

Semua orang merekomendasikan Casella & Berger, yang hampir secara universal digunakan dalam program statistik pascasarjana. Ini bukan buku referensi yang buruk, tapi saya tidak yakin saya akan melakukan lebih dari memindai 4-5 bab pertama. Saya tidak berpikir Anda perlu teori tentang bagaimana membangun tes tipe Neyman-Pearson sebelum mempelajari "statistik" yaitu analisis data.

Sebaliknya, saya akan fokus pada metode pembelajaran. Program pascasarjana saya menggunakan Metode Statistik Terapan Linier untuk tes yang sering dilakukan, dan ini merupakan referensi komprehensif yang lumayan, tetapi mungkin bukan buku yang paling mudah didekati dari sudut pandang otodidak. Satu atau dua kursus dari MIT atau coursera mungkin merupakan cara yang lebih baik untuk memulainya, karena Anda akan mendapatkan gambaran yang lebih luas dengan lebih banyak contoh daripada membaca buku.

Bagi Bayes, buku yang paling sering saya lihat adalah Doing Bayesian Data Analysis , yang dilengkapi dengan gambar anak anjing (jelas, ini membuat buku ini lebih unggul daripada buku teks pengantar Bayesian lainnya). Saya tidak pernah menggunakan buku itu sendiri, tetapi saya telah membacanya dan kelihatannya cukup baik - jauh lebih baik daripada buku Gelman, yang saya temukan agak tidak dapat dipahami SETELAH dua kelas dalam statistik Bayesian - penjelasannya mengerikan.

Ini tidak dimaksudkan sebagai jawaban yang lengkap, itu hanya saran. Jika Anda ingin mempelajari lebih lanjut tentang statistik (yayasan), Anda dapat membaca:

Casella, G. and R. L. Berger (2002): Statistical Inference, Duxbury

Ini adalah buku yang cukup standar untuk ahli statistik dan memiliki banyak hasil menarik. Anda tidak perlu melalui semua bukti teorema, tetapi Anda mungkin ingin melakukan beberapa latihan agar merasa lebih aman dengan hasilnya.

Jika Anda ingin mempelajari lebih lanjut tentang ekonometrik (model untuk data), Anda dapat melihat:

Hayashi, F. (2000): Econometrics, Princeton University Press

Orang lain sebenarnya menanyakan sesuatu yang mirip dengan yang Anda minta dan mendapat jawaban yang bagus: Apa yang harus dilakukan setelah "Casella & Berger" .

Lebih jauh, jika Anda benar-benar berniat membaca buku-buku ini, silabus mata kuliah ekonometrik ini dapat memberi Anda arahan dan langkah yang cukup baik tentang apa yang harus dibaca (CB & Hayashi) dan kapan membaca.

Saya menyarankan sebuah buku baru yang muncul sejak pertanyaan awal: Pemikiran Ulang Statistik: Kursus Bayesian dengan Contoh dalam R dan Stan oleh Richard McElreath, CRC Press.

Ini ditulis dengan sangat baik dan menggunakan pendekatan Bayesian. Ini sangat interaktif, dan Anda akan ingin menyelesaikan masalahnya atau Anda mungkin setengah jalan dan mulai tersesat.

Ini dimulai dengan sangat dasar dan berakhir dengan model multi-level, dan itu ditujukan untuk ilmuwan yang cukup maju yang memiliki pengetahuan statistik tetapi tidak merasa nyaman secara keseluruhan dengan statistik seperti yang diajarkan kepada mereka. Jadi saya tidak bisa mengatakan itu buku pemula, tapi itu dimulai dengan sangat sederhana dan dia memiliki busur dan gaya yang indah.

Bagian "Stan" dari judul adalah alat pengambilan sampel Bayesian untuk tujuan umum. Pada dasarnya, ini adalah bahasa pemrograman yang mengkompilasi secara otomatis ke C ++ dan kemudian dikompilasi ke executable. (Kesimpulan Bayes bersifat umum, tidak seperti alternatif, sehingga Anda dapat memiliki alat yang digeneralisasi.)

Kupikir aku akan melemparkan jawaban ini untuk anak cucu, bahkan jika itu sepertinya sudah terlambat untuk berguna bagimu. Semua Statistik Larry Wasserman disusun sebagai kursus untuk orang-orang dengan latar belakang dalam pembelajaran mesin, disiplin ilmu komputer lainnya, atau matematika yang tidak memiliki pelatihan statistik formal - yaitu, orang-orang di situasi Anda saat ini. Karena kurang memiliki statistik formal yang sama, beberapa teman dan saya membentuk kelompok belajar mandiri untuk menjalaninya di sekolah pascasarjana. Saya pikir saya benar-benar mendapat manfaat dari pengalaman itu.

Topik tambahan yang dilontarkan Wasserman di luar materi kursus "probabilitas dan inferensi statistik" yang khas, seperti model grafis dan bootstrap, sangat relevan bagi seseorang yang bekerja dalam pembelajaran mesin. Saya harus mengatakan bahwa buku itu bisa sangat singkat dibandingkan dengan sesuatu seperti Casella & Berger, jadi jika Anda ingin lebih detail atau motivasi untuk bagian-bagian tertentu (terutama bukti) Anda mungkin harus menambahkannya dengan bahan bacaan lain. Yang mengatakan, saya juga menemukan buku itu ditulis dengan jelas dengan sejumlah masalah latihan, dan itu adalah referensi cepat yang sangat baik.

Satu bulan tidak banyak waktu. Jika Anda menetapkan langkah yang sangat agresif, saya pikir Anda pasti bisa mendapatkan banyak dari teks ini dalam satu semester: kami melakukan kelompok belajar mandiri kami selama musim panas, misalnya. Itu terutama benar jika Anda sebagian besar tertarik pada pemodelan linier, yang akan Anda tekan oleh Ch. 13-14.