PySpark için Pencere işlevi bölümü nasıl ayarlanır?

Question

Bir PySpark işi çalıştırıyorum ve ben şu mesajı alıyorum:

WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation. 

mesajı neyi ifade eder ve nasıl bir pencere operasyon için bir bölüm tanımlıyorsunuz?

DÜZENLEME: Bütün bir sütun üzerinde sıralamak için çalışıyorum

.

My veri olarak düzenlenmiştir:

A 
B 
A 
C 
D 

Ve istediğim:

A,1 
B,3 
A,1 
C,4 
D,5 

sanmıyorum orada gerektiği bunun için bir .partitionBy() tarafından, sadece .orderBy(). Sorun şu ki, bu performans düşüşüne sebep oluyor. Pencere işlevi olmadan bunu başarmanın başka bir yolu var mı? İlk sütuna göre bölümlemek için

, sonuç şöyle olacaktır: Ben istemiyorum Hangi

A,1 
B,1 
A,1 
C,1 
D,1 

.

Answer 1

soru üzerine verilen bilgiler, en iyi ihtimalle ben bölmeler Pencere fonksiyonları üzerindeki tanımlanmalıdır nasıl bir iskeletini sağlayabilir Verilen:

OVER (PARTITION BY ... ORDER BY …) 

:

from pyspark.sql.window import Window 

windowSpec = \ 
    Window \ 
    .partitionBy(...) \ # Here is where you define partitioning 
    .orderBy(…) 

Bu aşağıdaki SQL eşdeğerdir

Böylelikle bölümleme belirtimi ile ilgili: satırlar, verilen satırla aynı bölüm içinde olacak. Çerçeve sütununu sipariş etmeden ve hesaplamadan önce, bölüm sütunu için aynı değere sahip tüm satırların aynı makineye toplandığından emin olmak isteyebilirsiniz.

herhangi bölümleme şartname vermezseniz

, sonra tüm veriler tek bir makineye toplanması gereken, böylece aşağıdaki hata iletisi: cevapların biri sorunlarınızı çözer eğer

WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.