我正在尝试加载SVM文件并将其转换为DataFrame因此我可以使用ML模块（PipelineML）来自Spark。我刚刚在Ubuntu 14.04上安装了新的Spark 1.5.0（否spark-env.sh配置）。
我的my_script.py是：
from pyspark.mllib.util import MLUtils
from pyspark import SparkContext
sc = SparkContext("local", "Teste Original")
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
我正在使用：./spark-submit my_script.py
我得到了错误：
Traceback (most recent call last):
File "/home/fred-spark/spark-1.5.0-bin-hadoop2.6/pipeline_teste_original.py", line 34, in <module>
data = MLUtils.loadLibSVMFile(sc, "/home/fred-spark/svm_capture").toDF()
AttributeError: 'PipelinedRDD' object has no attribute 'toDF'
我不明白的是，如果我跑步：
data = MLUtils.loadLibSVMFile(sc, "/home/svm_capture").toDF()
直接在Pyspark Shell内部，它起作用。
答案
toDF方法是猴子补丁内部执行SparkSession（SQLContext1.x 中的构造函数）构造函数所以为了能够使用它，你必须创建一个SQLContext（或者SparkSession） 第一的：
# SQLContext or HiveContext in Spark 1.x
from pyspark.sql import SparkSession
from pyspark import SparkContext
sc = SparkContext()
rdd = sc.parallelize([("a", 1)])
hasattr(rdd, "toDF")
## False
spark = SparkSession(sc)
hasattr(rdd, "toDF")
## True
rdd.toDF().show()
## +---+---+
## | _1| _2|
## +---+---+
## | a| 1|
## +---+---+
更不用说你需要一个SQLContext或者SparkSession to work with DataFrames首先。