sparka卷b卷部分答案_在线真题试卷与模拟练习_sparka卷b卷部分答案_考试宝

更新时间：试题数量：购买人数：提供作者：

有效期：个月

章节介绍：共有个章节

收藏

我的练习

我的错题
(0道)

我的收藏
(0道)

我的斩题
(0道)

我的笔记
(0道)

专项练习

顺序练习 0 / 0

随机练习 自定义设置练习量

题型乱序 按导入顺序练习

模拟考试 仿真模拟

题型练习 按题型分类练习

易错题 精选高频易错题

学习资料 考试学习相关信息

搜索

题库预览

已知综合成绩 = 实验成绩*0.4 + 考试成绩*0.6。现有需求，将空值数据和含有haida的数据进行清洗，对某专业某课程的综合成绩进行汇总，并以成绩大小从大到小进行排序。在给出的提示代码中写出其实现思路以及内容。数据及效果图如下： "hkd001", "dsj","z1","english",81,91 "hkd001", "dsj","z1","math",82,93 "hkd002", "dsj","z2","english",83,88 "hkd002", "dsj","z2","math",85,84 "hkd003", "wlw","z1","english",81,84 "hkd003", "wlw","z1","math",82,82 "hkd004", "wlw","z2","english",83,80 "hkd004", "wlw","z2","math",85,88 "hkd005", "haida","z3","english",80,90 "hkd006", "haida","z4","english",80,90 "null", "null","null","null",0,0 效果图： (1) val data = Seq( ("hkd001", "dsj", "z1", "english", 81, 91), ("hkd001", "dsj", "z1", "math", 82, 93), ("hkd002", "dsj", "z2", "english", 83, 88), ("hkd002", "dsj", "z2", "math", 85, 84), ("hkd003", "wlw", "z1", "english", 81, 84), ("hkd003", "wlw", "z1", "math", 82, 82), ("hkd004", "wlw", "z2", "english", 83, 80), ("hkd004", "wlw", "z2", "math", 85, 88), ("hkd005", "haida", "z3", "english", 80, 90), ("hkd006", "haida", "z4", "english", 80, 90), ("null", "null", "null", "null", 0, 0) ).toDF("id","major","name","course","exp_score","exam_score") 构造原始数据 (2) val cleaned = data.filter( col("id") =!= "null" &&& col("major") =!= "null" &&& col("name") =!= "null" &&& col("course") =!= "null" &&& !col("major").contains("haida")) 数据清洗：过滤 null 和 major 包含 "haida" (3) val scored = cleaned.withColumn( "total_score", col("exp_score")*0.4 + col("exam_score")*0.6 ) 计算综合成绩 (4) val result = cleaned .groupBy("major", "course") .agg(sum("total_score").alias("sum_total_score")) .orderBy(desc("sum_total_score")) 按 major 列和 course 分组，并进行按汇总的综合成绩大小排序。【缺少答案，请补充】

学校图书馆希望对电子书、新闻文本进行大规模分析，通过统计词频、过滤特殊词汇、提取高频关键词等，辅助完成文本挖掘任务。为此，需要开发一个基于 Apache Spark 的分布式文本分析程序，对指定目录下的文本进行处理。请你根据需求，设计并实现 Spark RDD 模型的分布式文本统计系统，根据提示代码完成补齐下划线的代码。 //(1) 创建 spark 配置对象和上下文，AppNam 是学生的学号 val conf: SparkConf = new SparkConf().setAppName("2024020820018").setMaster("local[*]") val context: SparkContext = new SparkContext(conf) //提升日志文件的级别 context.setLogLevel("WARN") // (2) 读取本地文件"data\a\1.txt"，创建 RDD（每行一条文本记录） val value: RDD[String] = context.textFile("data\\a\\1.txt") // (3) 数据转换：将每行文本按空格切分，扁平化为单词 RDD（如 "hello world" → ["hello", "world"]） val flatMapVal: RDD[String] = value.flatMap(_.split(" ")) val mapVal: RDD[(String, Int)] = flatMapVal.map((_, 1)) // (4) 按单词分组，统计每个单词的总出现次数（使用 reduceByKey） val countVal: RDD[(String, Int)] = mapVal.reduceByKey(_ + _) // 打印结果 value.foreach(println) //关闭上下文 context.stop()

为了实现 spark 流处理与 kafka 的协作，现有三台虚拟机 node1-1：192.168.68.100，node1-2：192.168.68.101，node1-3：192.168.68.102 (1) linux 中，启动相关服务器，kafka 服务器创建主题为'dsj01'的 kafka 消息队列； kafka-topics --create --topic dsj01 --bootstrap-server 192.168.68.100:9092 --partitions 1 --replication-factor 1 (2) 编写 Spark Streaming 程序 appName 是考生学号，消费 Kafka "dsj01" 的数据，并打印到控制台，在下划线完成代码； //1) 创建 SparkSession val session: SparkSession = SparkSession.builder().appName("Demo11002StreamKafkaAndDataset").master("local[*]").getOrCreate() //2) 设置日志级别 ssc.sparkContext().setLogLevel("WARN") import spark.implicits._ //3) 从 Kafka 读取数据 val kafkaDF = spark.readStream .format("kafka") .option("kafka.bootstrap.servers","192.168.68.100:9092") .option("subscribe","dsj01") .option("startingOffsets","earliest") .load() //4) 将 Kafka 的 value 转为字符串 val strJSON: Dataset[String] = frame .selectExpr("CAST(value AS STRING)").as[String] // 打印到控制台 val query = jsonStrings.writeStream .format("console") .outputMode("append") .start() query.awaitTermination() (3) 在 linux 中 kafka 服务器，生产数据，使 Spark Streaming 可以实时消费。 kafka-console-producer --broker-list node1-1:9092 --topic dsj01【缺少答案，请补充】

Spark Streaming Update reduceByKey JavaSerializer Watermark 4040 资源 parallelize RDD 血缘 start()【缺少答案，请补充】

数据源是 socket 的 Spark Structured Streaming 程序的最小过程。

Spark on yarn 高可用（HA）集群的搭建过程（服务器：node4-1, node4-2, node4-3）。

Spark Structured Streaming 通过 Checkpoint 实现容错的方式。

编写一个 Spark Streaming 程序读取 Netcat Socket 数据的基本步骤。

说明 Spark Structured Streaming，如何通过 Checkpointing 实现容错和状态恢复。

简述 Spark SQL 的优点。

编写一个 Spark Streaming 程序读取 Netcat Socket 数据的基本步骤。

说明 Spark Structured Streaming，如何通过 Checkpointing 实现容错和状态恢复。

简述 Spark SQL 的优点。

1