После объединения двух кадров данных я обнаружил, что порядок столбцов изменился так, как я предполагал.
Пример: объединение двух фреймов данных со столбцами [b,c,d,e] и [a,b] в b дает порядок столбцов [b,a,c,d,e].
Как изменить порядок столбцов (например, [a,b,c,d,e])? Я нашел способы сделать это в Python/R, но не в Scala или Java. Существуют ли какие-либо методы, позволяющие менять местами или переупорядочивать столбцы фрейма данных?
В Scala вы можете использовать "знак" (:_*) синтаксис для передачи списка столбцов переменной длины в метод DataFrame.select().
Чтобы обратиться к вашему примеру, вы можете получить список существующих столбцов через DataFrame.columns, который возвращает массив строк. Затем просто отсортируйте этот массив и преобразуйте значения в столбцы. Затем вы можете «выплеснуть» метод select():
val mySortedCols = myDF.columns.sorted.map(str => col(str))
// Array[String]=(b,a,c,d,e) => Array[Column]=(a,b,c,d,e)
val myNewDF = myDF.select(mySortedCols:_*)
Один из способов сделать это - переупорядочить после вашего присоединения:
case class Person(name : String, age: Int)
val persons = Seq(Person("test", 10)).toDF
persons.show
+----+---+
|name|age|
+----+---+
|test| 10|
+----+---+
persons.select("age", "name").show
+---+----+
|age|name|
+---+----+
| 10|test|
+---+----+
columns() (Java API)...
- person jest jest; 29.06.2016
