Как я могу пройти по RDD, используя Spark scala. Я хочу напечатать каждое значение, присутствующее в Seq, с соответствующим ключом res1: org.apache.spark.rdd.RDD[(java.lang.String, Seq[java.lang.String])] = MapPartitionsRDD[6] at groupByKey at...

Исходные данные ID, NAME, SEQ, NUMBER A, John, 1, 3 A, Bob, 2, 5 A, Sam, 3, 1 B, Kim, 1, 4 B, John, 2, 3 B, Ria, 3, 5 Чтобы составить список групп ID, я сделал ниже val MapRDD = originDF.map { x => (x.getAs[String](colMap.ID), List(x))...

Я пытаюсь добавить запись в существующий RDD на каждой итерации цикла. Мой код до сих пор: var newY = sc.emptyRDD[MatrixEntry] for (j <- 0 until 8000) { var arrTmp = Array(MatrixEntry(j, j, 1)) var rddTmp = sc.parallelize(arrTmp) newY =...