1 Spark使用哪种技术实现Python与Java的互操作,从而实现使用Python编写Spark程序
A. PythonParser
B. Python4j
C. py4j
D. Java4Py
2 Spark哪种技术可以以交互式的方式使用Python编写Spark程序
A. Python Shell
B. pyspark-shell
C. python shell
D. spark-python
3 Python编写Spark程序的交互工具是
A. python-shell
B. pyspark
C. spark-shell
D. spark-python
4 Python语言编写Spark程序常用的关键字
A. new
B. def
C. function
D. lambda
5 以Python语言编写Spark程序正确的是
A. rdd.map(x=x+2)
B. rdd.flatMap(x=x+2)
C. rdd.map(lambda x=x+2)
D. rdd.map(lambda x:x+2)
6 Python语言编写Spark程序时可以把行数变多的方法是
A. collect
B. filter
C. map
D. flatMap
7 Python语言编写Spark程序时reduceByKey写法正确的是
A. reduceByKey(x, y= x + y))
B. reduceByKey(lambda x, y: x + y))
C. reduceByKey(lambda x, y= x + y))
D. reduceByKey(lambda _ + _))
8 为了提升算法性能,RDD哪个方法对于重复迭代的操作非常有用
A. bigdata
B. lineage
C. memory
D. cache
9 隶属于非监督学习的算法是
A. LinearRegresssion
B. kmeans
C. SVM
D. Decision trees
10 SparkML比MapReduce快多少倍
A. 100
B. 200
C. 50
D. 10
11 pyspark中创建的方法包括
A. sc.parallelize初始化
B. 类型强制转换创建RDD
C. 文件读取创建RDD
D. sc.wholeTextFiles读取创建
12 RDD转换操作包括
A. map
B. flatMap
C. filter
D. reduce
13 Spark的KV型RDD数据结构操作包括
A. reduceByKey
B. collectAsMap()
C. toList
D. sortByKey
14 Python语言编写Spark程序时集合操作包括
A. add
B. union
C. intersection
D. Cartesian
15 RDD的join操作
A. cogroup
B. leftOuterJoin
C. join
D. rightOuterJoin
16 Python语言编写Spark程序时actions方法包括
A. collect
B. first
C. count
D. top
17 可以生成数据序列的方法包括
A. np.linspace
B. seq
C. range
D. c函数
18 Spark Pipeline组件包括
A. Pipeline
B. Transformers
C. Parameter
D. Estimators
19 能创建Spark DataFrame的语言包括
A. Python
B. Scala
C. Java
D. R
20 SparkML实现如下机器学习算法
A. DeepLearning
B. Classification
C. Regression
D. Decision Trees
21 Spark Pipelines提升了模型管理的方便性
22 pyspark缺点是不能编写SparkML程序
23 SparkSQL有自己独立的的MetaStore
25 pyspark运行需要python2.7以上版本
26 SparkSQL支持多种数据源,如Parquert、JSON、CSV等
27 SparkSQL默认读写的文件系统是HDFS
28 Python的scklearn包直接可以在SparkML中引用
29 SparkSQL是纯分布式集群,所以无法读写关系数据库