pyspark-sql

17ısı

4cevap

İki veri çerçevesine katılın, diğerinden bir ve bazı sütunlardan tüm sütunları seçin

Birkaç sütun (aralarında 'id' sütununun bulunduğu) ve iki sütunlu veri çerçevesi df2 olan bir kıvılcım veri karesi df1 var ' id 've' diğer '. select() ve benzeri böyle (katılmak sadece pyspark işlevle

0ısı

1cevap

PySpark: UDF bir dataframe üzerinde çalışmıyor

Azure'da Jupyter'de PySpark kullanıyorum. UDF, bir veri ağı üzerinde UDF kullanarak test etmeye çalışıyorum, ancak UDF çalışmıyor. Ben 100 satır doldurulur bu dataframe doğrulamıştır users = sqlContex

2ısı

1cevap

PySpark - ALS çıkışında DataFrame için RDD

Spark'un öneri sistemini kullanıyorum. trenin bir modeli sonra, (2) Bu durumda Rec yılında [(10000, (Rating(user=10000, product=14780773, rating=7.35695469892999e-05), Rating(user=10000, produc

7ısı

2cevap

Pyspark veri çerçevesindeki her sütun için Null ve Nan değerlerinin sayısı nasıl bulunur? Her sütun için boş nan deyince/ile

import numpy as np df = spark.createDataFrame( [(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))], ('session', "ti

1ısı

1cevap

Spark Tek Başına Uygulama son noktasında kilitleniyor

Kıvılcım'a nispeten yeniyim ve python ve spark SQL kullanarak basit bir betik yazdım. Benim problemim, yürütmenin başlangıç aşamasında tamamen doğru olduğu, ancak yavaş yavaş yavaşlattığı ve son faz

5ısı

2cevap

benim pyspark Sıra nesnesi Verilen Vector

içine türünü dönüştürülemez: Ancak >>> row Row(clicked=0, features=SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752})) >>> row.clicked 0 >>> row.features SparseVector(7, {0: 1.0, 3: 1.0, 6: 0.752}) >>>

8ısı

1cevap

Neden Mongo Spark bağlayıcı bir sorgu için farklı ve yanlış sayımlar döndürür?

Mongo Spark bağlayıcısını bir proje için değerlendiriyorum ve tutarsız sonuçları alıyorum. MongoDB sunucu sürümü 3.4.5, Spark (PySpark üzerinden) sürüm 2.2.0, Mongo Spark Connector sürüm 2.11; 2.2.0 y

6ısı

1cevap

pySpark

I pySpark kullanıyorum farklılıkları hesaplamak için bir pencere fonksiyonu uygulamak ve aşağıdaki gibi iki sütun günlük varlık fiyatı temsil eden benim dataframe kurdunuz: ind = sc.parallelize(range(