Pertanyaan yang diberi tag «bigdata»

Apa yang akan menjadi cara paling efisien untuk menyisipkan jutaan catatan katakan 50 juta dari bingkai data Spark ke Postgres Tables. Saya telah melakukan ini dari percikan ke MSSQL di masa lalu dengan memanfaatkan salinan massal dan opsi ukuran batch yang berhasil juga. Adakah sesuatu yang serupa yang bisa ada …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

Saya mencoba menunjukkan kepada anak saya bagaimana pengkodean dapat digunakan untuk memecahkan masalah yang ditimbulkan oleh sebuah permainan serta melihat bagaimana R menangani data besar. Game yang dimaksud disebut "Lucky 26". Dalam game ini angka (1-12 tanpa duplikat) diposisikan pada 12 poin pada bintang david (6 vertex, 6 persimpangan) dan …

15 r  bigdata  permutation 

Saya menjelajahi perilaku Spark ketika bergabung dengan tabel untuk dirinya sendiri. Saya menggunakan Databricks. Skenario boneka saya adalah: Baca tabel eksternal sebagai dataframe A (file yang mendasarinya dalam format delta) Definisikan dataframe B sebagai dataframe A dengan hanya kolom tertentu yang dipilih Bergabunglah dengan dataframe A dan B pada kolom1 …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake