Pertanyaan yang diberi tag «pyspark»

Saya memiliki frame 10 data pyspark.sql.dataframe.DataFrame, yang diperoleh dari randomSplitsebagai (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)Sekarang saya ingin bergabung 9 td's ke dalam bingkai data tunggal, bagaimana saya harus melakukan itu? Saya …

21 python  apache-spark  cross-validation  pyspark 

Apakah ada aturan praktis (atau aturan aktual) yang berkaitan dengan jumlah sel LSTM minimum, maksimum, dan "wajar" yang harus saya gunakan? Secara khusus saya berhubungan dengan BasicLSTMCell dari TensorFlow dan num_unitsproperti. Harap asumsikan bahwa saya memiliki masalah klasifikasi yang ditentukan oleh: t - number of time steps n - length …

12 rnn  machine-learning  r  predictive-modeling  random-forest  python  language-model  sentiment-analysis  encoding  machine-learning  deep-learning  neural-network  dataset  caffe  classification  xgboost  multiclass-classification  unbalanced-classes  time-series  descriptive-statistics  python  r  clustering  machine-learning  python  deep-learning  tensorflow  machine-learning  python  predictive-modeling  probability  scikit-learn  svm  machine-learning  python  classification  gradient-descent  regression  research  python  neural-network  deep-learning  convnet  keras  python  tensorflow  machine-learning  deep-learning  tensorflow  python  r  bigdata  visualization  rstudio  pandas  pyspark  dataset  time-series  multilabel-classification  machine-learning  neural-network  ensemble-modeling  kaggle  machine-learning  linear-regression  cnn  convnet  machine-learning  tensorflow  association-rules  machine-learning  predictive-modeling  training  model-selection  neural-network  keras  deep-learning  deep-learning  convnet  image-classification  predictive-modeling  prediction  machine-learning  python  classification  predictive-modeling  scikit-learn  machine-learning  python  random-forest  sampling  training  recommender-system  books  python  neural-network  nlp  deep-learning  tensorflow  python  matlab  information-retrieval  search  search-engine  deep-learning  convnet  keras  machine-learning  python  cross-validation  sampling  machine-learning 

Bagaimana saya bisa mengimpor file .csv ke dalam dataframe pyspark? Saya bahkan mencoba membaca file csv di Pandas dan kemudian mengubahnya menjadi dataframe percikan menggunakan createDataFrame, tetapi masih menunjukkan beberapa kesalahan. Bisakah seseorang membimbing saya melalui ini? Juga, tolong beri tahu saya bagaimana cara mengimpor file xlsx? Saya mencoba mengimpor …

12 pyspark 

Saya sedang bekerja menyiapkan seperangkat VM untuk bereksperimen dengan Spark sebelum saya menghabiskan keluar dan menghabiskan uang untuk membangun sebuah cluster dengan beberapa perangkat keras. Catatan singkat: Saya adalah seorang akademisi dengan latar belakang dalam pembelajaran mesin yang diterapkan dan pekerjaan berhenti sedikit dalam ilmu data. Saya menggunakan alat untuk …

11 python  apache-spark  pyspark  ipython 

Saya menggunakan notebook Ipython untuk bekerja dengan aplikasi pyspark. Saya memiliki file CSV dengan banyak kolom kategorikal untuk menentukan apakah pendapatan berada di bawah atau di atas kisaran 50k. Saya ingin melakukan algoritma klasifikasi mengambil semua input untuk menentukan kisaran pendapatan. Saya perlu membuat kamus variabel untuk memetakan variabel dan …

11 python  apache-spark  categorical-data  pyspark 

Pertanyaan Bagaimana cara memprediksi peringkat untuk pengguna baru dalam model ALS yang dilatih di Spark? (Baru = tidak terlihat selama waktu pelatihan) Masalah Saya mengikuti tutorial resmi Spark ALS di sini: http://ampcamp.berkeley.edu/big-data-mini-course/movie-recommendation-with-mllib.html Saya dapat membangun pemberi rekomendasi yang baik dengan MSE yang layak tetapi saya berjuang dengan cara memasukkan data …

10 apache-spark  recommender-system  pyspark 

Saya memiliki dataset besar yang perlu saya bagi menjadi beberapa kelompok sesuai dengan parameter tertentu. Saya ingin pekerjaan diproses seefisien mungkin. Saya dapat membayangkan dua cara untuk melakukannya Opsi 1 - Buat peta dari RDD asli dan filter def customMapper(record): if passesSomeTest(record): return (1,record) else: return (0,record) mappedRdd = rddIn.map(lambda …

10 apache-spark  pyspark 

Kami menggunakan .cache()RDD untuk caching data yang persisten, Kekhawatiran saya adalah kapan cache ini akan kedaluwarsa ?. dt = sc.parallelize([2, 3, 4, 5, 6]) dt.cache()

10 apache-spark  pyspark 

Saya memiliki skrip python yang ditulis dengan Spark Context dan saya ingin menjalankannya. Saya mencoba mengintegrasikan IPython dengan Spark, tetapi saya tidak bisa melakukannya. Jadi, saya mencoba untuk mengatur jalur percikan [folder Instalasi / nampan] sebagai variabel lingkungan dan disebut perintah percikan-kirim di cmd prompt. Saya percaya itu menemukan konteks …

8 python  apache-spark  pyspark  ipython