Menemukan sampel data yang tersedia secara bebas

Saya telah bekerja pada metode baru untuk menganalisis dan mengurai dataset untuk mengidentifikasi dan mengisolasi subkelompok populasi tanpa mengetahui karakteristik subkelompok mana pun. Sementara metode ini bekerja cukup baik dengan sampel data buatan (yaitu kumpulan data yang dibuat khusus untuk tujuan mengidentifikasi dan memisahkan subset populasi), saya ingin mencoba mengujinya dengan data langsung.

Apa yang saya cari adalah sumber data yang tersedia secara bebas (yaitu non-rahasia, non-eksklusif). Lebih disukai yang mengandung distribusi bimodal atau multimodal atau jelas terdiri dari beberapa himpunan bagian yang tidak dapat dengan mudah dipisahkan melalui cara tradisional. Ke mana saya akan pergi untuk mencari informasi seperti itu?

Lihat juga mesin UCI yang mempelajari Penyimpanan Data.

http://archive.ics.uci.edu/ml/

Daftar berikut berisi banyak set data yang Anda mungkin tertarik:

• American's Best Colleges - US News & World Reports
• Pencari Fakta Amerika
• Arsip Bisbol
• Biro Statistik Keadilan
• Biro Statistik Tenaga Kerja
• Biro Statistik Transportasi
• Biro Sensus
• Pustaka Data dan Cerita (DASL)
• Set Data, Departemen Statistik UCLA
• Statistik DIG
• Layanan Penelitian Ekonomi, Departemen Pertanian AS
• Administrasi Informasi Energi
• Eurostat
• Menjelajahi Data
• FedStats
• Organisasi Gallop
• Harga Bahan Bakar Internasional
• Jurnal Statistik Data Pendidikan Arsip
• Kentucky Derby Race Statistics
• Pusat Statistik Pendidikan Nasional
• Pusat Statistik Kesehatan Nasional
• Pusat Data Iklim Nasional
• Pusat Data Geofisika Nasional
• Administrasi Kelautan dan Atmosfer Nasional
• Sumber Data Olahraga
• Statistik Kanada
• StatLib --- Arsip Data
• Layanan Statistik Pemerintah UK
• Perserikatan Bangsa-Bangsa: Sumber Daya Cyber ​​SchoolBus

Lihat respons saya terhadap "Kumpulan Data untuk Menjalankan Analisis Statistik" yang mengacu pada kumpulan data di R.

Bank Dunia menawarkan cukup banyak data menarik dan baru-baru ini sangat aktif dalam mengembangkan API yang bagus untuk itu.

Juga, komugrat proyek memiliki daftar menarik yang tersedia.

Untuk kepala data terkait kesehatan AS untuk Gudang Indikator Kesehatan .

Blog Daniel Lemire menunjukkan beberapa contoh menarik (kebanyakan disesuaikan dengan penelitian DB) termasuk Canadian Sensus 1880 dan laporan cloud synoptic .

Dan untuk hari ini (03/04/2012) catatan sensus US 1940 juga tersedia untuk diunduh.

Gapminder memiliki nomor (430 pada tampilan terakhir) dari kumpulan data, yang mungkin atau mungkin tidak berguna bagi Anda.

MLComp memiliki beberapa set data yang menarik, dan sebagai bonus, algoritma Anda akan mendapat peringkat jika Anda mengunggahnya.

Tempat yang baik untuk melihat adalah Perpustakaan Data dan Cerita Universitas Carnegie Mellon atau DASL , yang berisi file data yang "menggambarkan penggunaan metode statistik dasar ... Contoh yang baik dapat membuat pelajaran tentang metode statistik tertentu yang jelas dan relevan. DASL adalah dirancang untuk membantu para guru menemukan dan mengidentifikasi datafile untuk pengajaran. Kami berharap bahwa DASL juga akan berfungsi sebagai arsip untuk kumpulan data dari literatur statistik. "

Mulai R dan ketik data(). Ini akan menampilkan semua dataset di jalur pencarian. Banyak set data tambahan tersedia dalam paket tambahan. Sebagai contoh, ada beberapa dataset ilmu sosial dunia nyata yang menarik dalam AERpaket.

NIST menyediakan arsip Dataset Referensi .

http://www.reddit.com/r/datasets dan juga, http://www.reddit.com/r/opendata keduanya berisi daftar pointer yang terus bertambah ke berbagai dataset.

Jaringan Stack Exchange sekarang memiliki situs baru, Open Data (dalam versi beta per 5 Maret 2015), didedikasikan untuk data. Ini menggambarkan dirinya sebagai:

Open Data Stack Exchange adalah situs tanya jawab untuk pengembang dan peneliti yang tertarik pada data terbuka. Ini dibuat dan dijalankan oleh Anda sebagai bagian dari jaringan Stack Exchange situs Q&A. Dengan bantuan Anda, kami bekerja sama untuk membangun perpustakaan jawaban terperinci untuk setiap pertanyaan tentang data terbuka.

"Data terbuka" mengacu pada kumpulan data yang "tersedia secara bebas bagi semua orang untuk digunakan dan diterbitkan ulang sesuai keinginan, tanpa batasan dari hak cipta, paten, atau mekanisme kontrol lainnya" ( Wikipedia ). Namun, situs tersebut tampaknya menerima permintaan untuk dataset tertutup .

Timetrik menyediakan antarmuka web ke data dan menyediakan daftar set data yang tersedia untuk umum yang mereka gunakan

Menambahkan pasangan ke daftar:

• Banyak data keuangan yang mendalam tentang perusahaan yang diperdagangkan secara publik, akan kembali beberapa dekade: http://www.mergent.com/servius

• Informasi lengkap tentang 16+ juta bisnis di AS: http://compass.webservius.com

Keduanya tersedia melalui API REST dan memiliki rencana uji coba gratis.

Ini daftar lain .

Ini mungkin daftar paling lengkap yang akan Anda temukan: Beberapa Kumpulan Data Tersedia di Web

Peter Skomoroch menyimpan daftar dataset di http://www.datawrangling.com/some-datasets-available-on-the-web . Banyak tautan yang disediakan untuk tempat-tempat yang berisi daftar dataset.

Set data dari buku mani A handbook of small data setstersedia di sini .

Mencari set data yang sesuai untuk kebutuhan saya, saya baru saja menemukan dua situs yang berkaitan dengan diskusi ini.

Datacite.org yang menggambarkan dirinya sebagai ...

Kami adalah organisasi internasional yang bertujuan untuk:

• membangun akses yang lebih mudah ke data penelitian
• meningkatkan penerimaan data penelitian sebagai kontribusi yang sah dalam catatan ilmiah, dan untuk
• mendukung pengarsipan data untuk memungkinkan hasil diverifikasi dan ditujukan kembali untuk studi di masa depan.

DataBib.org yang menggambarkan dirinya sebagai ...

Databib adalah alat untuk membantu orang mengidentifikasi dan menemukan repositori data penelitian online. Pengguna dan bibliografi membuat dan membuat catatan yang menjelaskan repositori data yang dapat dicari pengguna.

Kupikir akan layak menambahkannya ke daftar di sini untuk orang lain.

Sekarang untuk menemukan sesuatu dalam tautannya yang sesuai dengan kebutuhan saya!

Saya sangat merekomendasikan memeriksa quandl.com . Ini adalah impian para programmer data. Ini menyediakan satu API yang sangat mudah untuk mengakses salah satu dari lebih dari 10 juta data duduk. Anda mencari data bi-modial atau multi-variate, jadi saya akan menyarankan memeriksa berbagai set data populasi misalnya grafik populasi dunia ini berisi sub komponen negara dan wilayah yang masuk ke total.

• http://www.freebase.com/

Penggunaan Seiring Waktu

Lembar kerja Excel yang sangat besar tersedia untuk diunduh yang berisi titik data untuk semua aktivitas online, dengan demografi pengguna, seiring waktu. Silakan baca Lembar Tip (di bawah) sebelum mengunduh atau menggunakan spreadsheet ini.

http://pewinternet.org/Trend-Data/Usage-Over-Time.aspx

http://www.ckan.net juga memiliki sejumlah dataset.

http://www.biotorrents.net/browse.php juga mulai memiliki cukup banyak dataset BIG.

SODA POP di Penn State;

http://sodapop.pop.psu.edu/

Arsip Data Online Sederhana untuk studi POPulasi.

Saya akan melanjutkan dan menabrak topik lama karena saya baru saja menemukan ibu ini lode:

http://vincentarelbundock.github.io/Rdatasets/

Singapura mengumumkan inisiatif Open Data . Lihat data.gov.sg mirip dengan data.gov di AS.