Я использую Flambo для работы со Spark. Я хочу получить DataFrame , который содержит заданные имена столбцов. Я написал простую функцию следующим образом: (defn make-dataset ([data-path column-names and-another] (let [data (sql/read-csv...

После объединения двух кадров данных я обнаружил, что порядок столбцов изменился так, как я предполагал. Пример: объединение двух фреймов данных со столбцами [b,c,d,e] и [a,b] в b дает порядок столбцов [b,a,c,d,e] . Как изменить порядок...

Учитывая фрейм данных «df» и список столбцов «colStr», есть ли способ в Spark Dataframe извлечь или сослаться на эти столбцы из фрейма данных. Вот пример - val in = sc.parallelize(List(0, 1, 2, 3, 4, 5)) val df = in.map(x => (x, x+1,...

Следующий код загружает данные из S3, очищает и удаляет дубликаты с помощью SparkSQL, а затем сохраняет данные с помощью JDBC в Redshift. Я также пытался использовать зависимость от искры-красного смещения maven и получил тот же результат. Я...