PySpark --ColumnRenamed

Question

ile birden çok sütunu yeniden adlandırmak İki sütunun isimlerini kıvılcım kullanarak ColumnRenamed işleviyle değiştirmek istiyorum. Tabii ki, ben yazabilirim:

data = sqlContext.createDataFrame([(1,2), (3,4)], ['x1', 'x2']) 
data = (data 
     .withColumnRenamed('x1','x3') 
     .withColumnRenamed('x2', 'x4')) 

ama (yeni isimlerin listesi/tuple sahip) bir adımda bunu yapmak istiyor. Ne yazık ki, ne bu:

data = data.withColumnRenamed(['x1', 'x2'], ['x3', 'x4']) 

ne de bu:

data = data.withColumnRenamed(('x1', 'x2'), ('x3', 'x4')) 

çalışıyor. Bunu böyle yapmak mümkün mü?

Answer 1

withColumnRenamed kullanmak mümkün değildir.

from pyspark.sql.functions import col 

mapping = dict(zip(['x1', 'x2'], ['x3', 'x4'])) 
data.select([col(c).alias(mapping.get(c, c)) for c in data.columns]) 

Ben bu yüzden sadece dahili ya kendi birini kolay pyspark çözüm bulamadım

Answer 2

, benzer: Çok basit select ile adlandırmak da mümkündür

data.toDF('x3', 'x4') 

: Gerçi toDF yöntemi kullanabilirsiniz panda ' için.

def rename_columns(df, columns): 
    if isinstance(columns, dict): 
     for old_name, new_name in columns.items(): 
      df = df.withColumnRenamed(old_name, new_name) 
     return df 
    else: 
     raise ValueError("'columns' should be a dict, like {'old_name_1':'new_name_1', 'old_name_2':'new_name_2'}") 

Yani senin çözümün Bana kod satırları kaydeder

data = rename_columns(data, {'x1': 'x3', 'x2': 'x4'}) gibi, bak o da size yardımcı olacağını umuyoruz olacaktır.

Elde