Kumpulan Data yang Tersedia untuk Umum

Salah satu masalah umum dalam ilmu data adalah mengumpulkan data dari berbagai sumber dalam format yang entah bagaimana dibersihkan (semi-terstruktur) dan menggabungkan metrik dari berbagai sumber untuk membuat analisis tingkat yang lebih tinggi. Melihat upaya orang lain, terutama pertanyaan lain di situs ini, tampaknya banyak orang di bidang ini melakukan pekerjaan yang agak berulang. Misalnya menganalisis tweet, posting facebook, artikel Wikipedia dll. Adalah bagian dari banyak masalah data besar.

Beberapa kumpulan data ini dapat diakses menggunakan API publik yang disediakan oleh situs penyedia, tetapi biasanya, beberapa informasi atau metrik yang berharga hilang dari API ini dan setiap orang harus melakukan analisis yang sama berulang-ulang. Misalnya, meskipun pengelompokan pengguna mungkin bergantung pada berbagai kasus penggunaan dan pemilihan fitur, tetapi pengelompokan basis pengguna Twitter / Facebook dapat berguna dalam banyak aplikasi Big Data, yang tidak disediakan oleh API atau tersedia secara publik dalam kumpulan data independen .

Apakah ada situs hosting kumpulan data atau indeks yang tersedia untuk umum yang berisi kumpulan data berharga yang dapat digunakan kembali dalam memecahkan masalah big data lainnya? Maksud saya sesuatu seperti GitHub (atau sekelompok situs / kumpulan data publik atau setidaknya daftar komprehensif) untuk ilmu data. Jika tidak, apa alasan untuk tidak memiliki platform untuk ilmu data? Nilai komersial data, perlu memperbarui set data, ...? Bisakah kita tidak memiliki model sumber terbuka untuk berbagi set data yang dirancang untuk ilmuwan data?

Pada kenyataannya, ada daftar yang sangat masuk akal dari kumpulan data yang tersedia untuk umum, didukung oleh berbagai perusahaan / sumber.

Beberapa di antaranya adalah di bawah ini:

• Kumpulan Data Publik di Amazon WebServices ;
• Repositori Implementasi Penambangan Itemset yang Sering ;
• Repositori Pembelajaran Mesin UCI ;
• KDnuggets - daftar besar banyak repositori publik.

Sekarang, dua pertimbangan atas pertanyaan Anda. Pertama, tentang kebijakan berbagi basis data. Dari pengalaman pribadi, ada beberapa database yang tidak dapat dibuat tersedia untuk umum, baik untuk melibatkan pembatasan privasi (seperti untuk beberapa informasi jaringan sosial) atau untuk informasi pemerintah terkait (seperti database sistem kesehatan).

Poin lain menyangkut penggunaan / aplikasi dataset. Meskipun beberapa pangkalan dapat diolah kembali sesuai dengan kebutuhan aplikasi, akan lebih baik jika memiliki beberapa organisasi dataset yang bagus dengan sengaja. The taksonomi harus melibatkan analisis sosial grafik, pertambangan itemset, klasifikasi, dan banyak daerah penelitian lainnya mungkin ada.

Memperbarui:

Kaggle.com , rumah bagi sains data modern & penggemar pembelajaran mesin :), membuka repositori set datanya sendiri .

Selain sumber yang tercantum.

Beberapa set data jaringan sosial:

• Kumpulan kumpulan data jaringan besar (Stanford University, SNAP)
• Kumpulan data twitter besar yang mencakup pengikut + kumpulan kumpulan data twitter yang besar di sini
• Kumpulan data LastFM

Ada banyak sumber yang terdaftar di Stats SE:

• Menemukan sampel data yang tersedia secara bebas
• API data / umpan tersedia sebagai paket di R
• Kumpulan data gratis untuk klasifikasi dimensi yang sangat tinggi

Ada banyak set data yang tersedia secara terbuka, satu yang sering dilupakan orang adalah data.gov . Seperti yang disebutkan sebelumnya, Freebase sangat bagus, demikian juga semua contoh yang diposting oleh @Rubens

Freebase adalah basis data berbasis komunitas yang mencakup banyak topik menarik dan berisi sekitar 2,5 miliar fakta dalam format yang dapat dibaca mesin. Ini juga memiliki API yang baik untuk melakukan kueri data.

Berikut ini adalah daftar kumpulan data terbuka lain yang dikompilasi: http://www.datapure.co/open-data-sets

Tautan berikut tersedia

• Set Data Publik

• Set Data Publik Google

• Layanan Web Amazon

• Mencari Data di Internet

Untuk data deret waktu khususnya, Quandl adalah sumber yang bagus - direktori yang mudah dijelajahi dari (sebagian besar) deret waktu bersih.

Salah satu fitur paling keren adalah harga saham data terbuka - yaitu data keuangan yang dapat diedit dengan gaya wiki, dan tidak dibebani oleh lisensi.

Enigma adalah repositori kumpulan data yang tersedia untuk umum. Paket gratisnya menawarkan pencarian data publik, dengan panggilan API 10k per bulan. Tidak semua database publik terdaftar, tetapi daftar ini cukup untuk kasus umum.

Saya menggunakannya untuk penelitian akademis dan menghemat banyak waktu.

Sumber data menarik lainnya adalah proyek @unitedstates , yang berisi data dan alat untuk mengumpulkannya, tentang Amerika Serikat (anggota Kongres, bentuk geografis ...).

Saya ingin menunjukkan Sensus Data Terbuka . Ini adalah inisiatif dari Open Knowledge Foundation berdasarkan kontribusi dari advokat data terbuka dan para ahli di seluruh dunia.

Nilai Open data Census adalah upaya terbuka, berbasis komunitas, dan sistematis untuk mengumpulkan dan memperbarui basis data kumpulan data secara global di negara dan, dalam beberapa kasus, seperti AS, di tingkat kota .

Juga, ini menyajikan kesempatan untuk membandingkan berbagai negara dan kota dalam bidang minat tertentu.

Ada juga sumber daya lain yang disediakan oleh The Guardian, British Daily di situs web mereka. Kumpulan data yang diterbitkan oleh Guardian Datablog semuanya diinangi. Kumpulan data yang terkait dengan akun Football Premier League Clubs, informasi Inflasi dan PDB Inggris, data penghargaan Grammy, dll. Kumpulan data tersedia di

• http://www.theguardian.com/news/datablog/interactive/2013/jan/14/all-our-datasets-index

Lebih banyak sumber daya. Beberapa set data dalam format R atau ada commad R untuk mengimpor data secara langsung ke R.

• http://www.inside-r.org/howto/finding-data-internet

Google Custom Search

Anda dapat menggunakan Penelusuran Kustom Google untuk kumpulan data:

Google Custom Search: Kumpulan Data

Ini mencakup 230 sumber dan sumber meta set data, termasuk semua yang disebutkan dalam pertanyaan ini. Jangan ragu untuk mengecualikan .gov dan situs web lainnya dari hasil dengan menambahkan "-.gov" atau "-site.com" ke baris pencarian. Operator Pencarian Google lainnya bekerja.

Jangan ragu untuk menghubungi saya jika Anda memiliki ide untuk menambahkan situs web apa.

IOGDS

Layanan berikut mengkategorikan lebih dari 1.000.000 kumpulan data publik:

IOGDS: Pencarian Dataset Pemerintah Terbuka Internasional

Jawaban terlambat, tetapi di sini adalah daftar eklektik dari 100+ Set Data Menarik

Posting blog itu menyenangkan dan mudah dibaca (saya tidak punya afiliasi). Layak untuk memindai, dan mengikis beberapa dari atas:

• Kata-kata terakhir dari setiap tahanan Texas dieksekusi sejak 1984

• 10.000 gambar kucing yang beranotasi

• 2,2 juta pertandingan catur

Saya telah menemukan tautan ini di Pusat Ilmu Data dengan daftar kumpulan data gratis: Kumpulan data besar tersedia secara gratis

Apakah Anda tahu tentang PUMA Tolok Ukur dan set data unduhan? https://sites.google.com/site/farazahmad/pumadatasetsets

Itu memang termasuk yang berikut:

1. TeraSort
2. Wikipedia
3. Daftar barang
4. Bergabung Sendiri
5. Adjacency-List
6. Database film
7. Peringkat-Terbalik-Indeks

Pemerintah Inggris menyediakan sumber data non-pribadi yang sangat baik yang dikumpulkan di seluruh departemen pemerintah: http://data.gov.uk

Saya baru di forum ini. Terlambat dalam menjawab pertanyaan ini. Saya telah memelihara (saya adalah salah satu pendiri) katalog portal data yang tersedia untuk umum. Ada lebih dari 1000 portal yang sekarang terdaftar dan mencakup di tingkat internasional, federal, negara bagian, kota dan akademik di seluruh dunia.

http://www.opengeocode.org/opendata/

Saya terkejut orang tidak menyebutkan ini, karena tampaknya cukup jelas: http://www.kaggle.com secara konsisten memiliki dataset baru dan sangat menarik. Informasi dianggap sebagai aset, sehingga seringkali perusahaan tidak ingin merilis data itu (ditambah masalah privasi). Kaggle memberi Anda data dan mereka berharap Anda memecahkan masalah bisnis dengan itu sebagai gantinya.

Set Data

• Torrent Akademik
• Quora
• hadoopilluminated.com
• data.gov
• Quandl
• freebase.com
• usgovxml.com
• enigma.com
• datahub.io
• aws.amazon.com/datasets
• databib.org
• datacite.org
• quandl.com
• figshare.com
• Basis Data Unduhan GeoLite Legacy
• Jawaban Dataset Besar Quora
• Set Data Besar Publik
• Portal Data Houston
• Sumber Data Yang Memukau
• Katalog dalam Variasi Genetik Manusia
• Database yang dikuratori oleh masyarakat dari orang-orang terkenal, tempat, dan hal-hal
• Google Public Data
• Data Bank Dunia
• Data Taksi NYC
• Buka Data Philly Menghubungkan orang dengan data untuk Philadelphia
• Repositori Jaringan Repositori data interaktif dengan lebih dari 600+ jaringan di 20+ koleksi; dari jaringan sosial skala besar, grafik web, jaringan biologis, komunikasi dan jaringan teknologi, dll.
• Daftar sumber yang berguna Posting blog mencakup banyak kumpulan data

Set Data Dari data yang luar biasa

Seperti yang Anda sebutkan, API adalah bagian yang sulit, bukan data. Quandl tampaknya menyelesaikan masalah ini dengan menyediakan lebih dari 10 juta kumpulan data yang tersedia untuk umum di bawah satu API yang mudah dan tenang. Jika pemrograman tidak cocok dengan Anda, ada alat gratis untuk membuat memuat data ke Excel sangat mudah. Selain itu, jika Anda melakukan menikmati pemrograman, ada beberapa perpustakaan asli di R, Python, Java dan lebih .

Untuk menambah daftar yang mungkin tidak pernah berakhir:

seperti yang disebutkan oleh cyndd, ada Wikidata ,

dan untuk pengetahuan terstruktur yang dikuratori, Wolfram Alpha .

Saya menemukan koleksi ini di Github. Koleksinya juga dikategorikan.

https://github.com/caesar0301/awesome-public-datasets

Dan untuk bagian tentang

Tidak bisakah model sumber terbuka untuk berbagi set data yang dirancang untuk ilmuwan data?

Anda dapat merujuk panduan grup Leek ke berbagi data

Tidak semua data pemerintah terdaftar di data.gov - Sunlight Foundation mengumpulkan satu set spreadsheet pada bulan Februari yang menguraikan set data yang tersedia.

Satu sumber data lain yang tidak saya lihat tercantum dalam daftar adalah Proyek GDELT . Dari situs:

Proyek GDELT memonitor siaran dunia, cetak, dan berita web dari hampir setiap sudut setiap negara dalam lebih dari 100 bahasa dan mengidentifikasi orang, lokasi, organisasi, jumlah, tema, sumber, dan peristiwa yang mendorong masyarakat global kita setiap detik setiap hari, menciptakan platform terbuka gratis untuk komputasi di seluruh dunia.

Subreddit ini mencantumkan banyak Kumpulan Data yang diketahui

Kumpulan Data Reddit

Ada banyak permintaan dataset pada subreddit itu, beberapa di antaranya telah dijawab.

Saya membuat repo github untuk ini. Kumpulan data tidak besar, tetapi merupakan contoh minimal yang dimaksudkan untuk berlatih dan mengeksplorasi teknik pemodelan prediktif yang kemudian dapat diperluas ke kumpulan data besar.

Machine Learning Problem Bible (MLPB)

Yang keren / unik tentang repo ini adalah bahwa setiap masalah ditandai dengan tag seperti [multi-class], [unbalanced data], [regresi], dll. Sehingga memudahkan untuk menemukan jenis masalah / dataset tertentu.

Eurostats http://ec.europa.eu/eurostat dan Bank Sentral Eropa https://www.ecb.europa.eu/stats/html/index.en.html menyediakan beragam set data yang sering saya gunakan di my proyek kerja.

Selain semua kumpulan data ini, jika Anda tertarik pada data yang terkait dengan India. Situs resmi Pemerintah India adalah

• https://data.gov.in/

Ini menyediakan kumpulan data dari berbagai departemen pemerintah India yang dapat digunakan dengan baik untuk Analisis Data Besar & Pembelajaran Mesin.

Yahoo baru saja merilis dataset besar untuk komunitas riset. Bersenang senang lah!

Hanya kita memuat paket MASS di R kita mengakses beberapa kerangka data atau set data.

install.packages ("MASS") membutuhkan ("MASS")

3 set data dari https://www.jc-bingo.com/about

• visitor-interests.csv Kepentingan pengunjung gabungan disusun berdasarkan log akses web 1 minggu. Termasuk alamat IP pengunjung, string agen pengguna, negara pengunjung, bahasa dan topik halaman yang diakses. 19.926 catatan, 2,9 Mb.
• user-agents.csv Agen pengguna pengunjung nyata yang dipesan berdasarkan popularitas. 4.826 catatan, 716 Kb.
• bots.csv Alamat IP robot dan string agen pengguna diekstraksi dari log akses web. 1.293 catatan, 122 Kb.

Jelas, ada satu set besar database publik.

Satu yang belum disebutkan, adalah dari FAO ( Organisasi Pangan dan Pertanian Perserikatan Bangsa-Bangsa), dapat diakses di:

http://www.fao.org/faostat/

Ini berisi data tentang produksi makanan untuk negara-negara di seluruh dunia.