Pertanyaan yang diberi tag «apache-spark»

Ini adalah salinan pertanyaan orang lain di forum lain yang tidak pernah dijawab, jadi saya pikir saya akan menanyakannya kembali di sini, karena saya memiliki masalah yang sama. (Lihat http://geekple.com/blogs/feeds/Xgzu7/posts/351703064084736 ) Saya telah menginstal Spark dengan benar di mesin saya dan saya dapat menjalankan program python dengan modul pyspark tanpa …

111 python  apache-spark  pyspark 

Saya baru mengenal Spark dan saya mencoba membaca data CSV dari file dengan Spark. Inilah yang saya lakukan: sc.textFile('file.csv') .map(lambda line: (line.split(',')[0], line.split(',')[1])) .collect() Saya berharap panggilan ini memberi saya daftar dari dua kolom pertama file saya tetapi saya mendapatkan kesalahan ini: File "<ipython-input-60-73ea98550983>", line 1, in <lambda> IndexError: list …

110 python  csv  apache-spark  pyspark 

saya menggunakan https://github.com/databricks/spark-csv , saya mencoba menulis satu CSV, tetapi tidak bisa, itu membuat folder. Membutuhkan fungsi Scala yang akan mengambil parameter seperti jalur dan nama file dan menulis file CSV itu.

108 scala  csv  apache-spark  spark-csv 

Saya memiliki aplikasi streaming percikan yang menghasilkan kumpulan data untuk setiap menit. Saya perlu menyimpan / menimpa hasil dari data yang diproses. Ketika saya mencoba menimpa dataset org.apache.hadoop.mapred.FileAlreadyExistsException menghentikan eksekusi. Saya mengatur properti Spark set("spark.files.overwrite","true"), tetapi tidak berhasil. Bagaimana cara menimpa atau menghapus file dari percikan?

107 apache-spark 

Saya mengerjakan kerangka data dengan dua kolom, mvv dan hitungan. +---+-----+ |mvv|count| +---+-----+ | 1 | 5 | | 2 | 9 | | 3 | 3 | | 4 | 1 | saya ingin mendapatkan dua daftar yang berisi nilai mvv dan nilai hitungan. Sesuatu seperti mvv = [1,2,3,4] …

104 python  apache-spark  pyspark  spark-dataframe 

Saya memiliki dataframe dengan kolom sebagai String. Saya ingin mengubah tipe kolom menjadi tipe Double di PySpark. Berikut caranya, saya lakukan: toDoublefunc = UserDefinedFunction(lambda x: x,DoubleType()) changedTypedf = joindf.withColumn("label",toDoublefunc(joindf['show'])) Hanya ingin tahu, apakah ini cara yang tepat untuk melakukannya karena saat menjalankan Regresi Logistik, saya mendapatkan beberapa kesalahan, jadi saya …

103 python  apache-spark  dataframe  pyspark  apache-spark-sql 

Sekarang, saya harus menggunakan df.count > 0untuk memeriksa apakah DataFramekosong atau tidak. Tapi ini agak tidak efisien. Apakah ada cara yang lebih baik untuk melakukan itu? Terima kasih. PS: Saya mau cek kalau kosong jadi saya simpan saja DataFramekalau tidak kosong

102 apache-spark  apache-spark-sql 

Saya memiliki aplikasi Spark yang sedang berjalan yang menempati semua inti di mana aplikasi saya yang lain tidak akan dialokasikan sumber daya apa pun. Saya melakukan beberapa penelitian cepat dan orang menyarankan menggunakan YARN kill atau / bin / spark-class untuk mematikan perintah. Namun, saya menggunakan versi CDH dan / …

101 apache-spark  yarn  pyspark 

Saya mengikuti tutorial percikan hebat jadi saya mencoba pada 46m: 00s untuk memuat README.mdtetapi gagal untuk apa yang saya lakukan adalah ini: $ sudo docker run -i -t -h sandbox sequenceiq/spark:1.1.0 /etc/bootstrap.sh -bash bash-4.1# cd /usr/local/spark-1.1.0-bin-hadoop2.4 bash-4.1# ls README.md README.md bash-4.1# ./bin/spark-shell scala> val f = sc.textFile("README.md") 14/12/04 12:11:14 INFO …

100 scala  apache-spark 

Saya ingin membuat DataFramedengan skema tertentu di Scala. Saya telah mencoba menggunakan JSON read (maksud saya membaca file kosong) tetapi menurut saya itu bukan praktik terbaik.

94 scala  apache-spark  dataframe  apache-spark-sql 

Saya memiliki aplikasi Spark yang berjalan tanpa masalah dalam mode lokal, tetapi mengalami beberapa masalah saat mengirimkan ke cluster Spark. Pesan kesalahannya adalah sebagai berikut: 16/06/24 15:42:06 WARN scheduler.TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, cluster-node-02): java.lang.ExceptionInInitializerError at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) at GroupEvolutionES$$anonfun$6.apply(GroupEvolutionES.scala:579) at scala.collection.Iterator$$anon$14.hasNext(Iterator.scala:390) at org.apache.spark.util.Utils$.getIteratorSize(Utils.scala:1595) at org.apache.spark.rdd.RDD$$anonfun$count$1.apply(RDD.scala:1157) at …

93 scala  apache-spark 

Di spark-shell saya, apa arti entri seperti di bawah ini ketika saya menjalankan suatu fungsi? [Stage7:===========> (14174 + 5) / 62500]

93 apache-spark 

Saya mencoba untuk mengonversi semua nama header / kolom a DataFramedi Spark-Scala. sampai sekarang saya datang dengan kode berikut yang hanya menggantikan satu nama kolom. for( i <- 0 to origCols.length - 1) { df.withColumnRenamed( df.columns(i), df.columns(i).toLowerCase ); }

93 scala  apache-spark  dataframe  apache-spark-sql 

Saya mencoba mengatur Apache Spark di Windows. Setelah mencari sedikit, saya memahami bahwa mode mandiri adalah yang saya inginkan. Binari mana yang saya unduh untuk menjalankan Apache spark di windows? Saya melihat distribusi dengan hadoop dan cdh di halaman download spark. Saya tidak memiliki referensi di web untuk ini. Panduan …

93 windows  apache-spark 

Saya membuat Spark 1.4 dari master pengembangan GH, dan pembuatannya berjalan dengan baik. Tetapi ketika saya melakukannya, bin/pysparksaya mendapatkan versi Python 2.7.9. Bagaimana saya bisa mengubahnya?

92 python  python-3.x  apache-spark