pyspark - Spark.sql 和 sqlContext.sql

Question

我已经导入了以下模块。我尝试从 sqlCtx.read.format 加载数据，但出现 "IllegalArgumentException: u"Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':"" 错误，但它当我使用spark.read.format时效果很好。当我从注册的临时表/ View 中检索数据时，我看到了相同的行为。我可以额外添加什么来使用 sqlCtx.sql 而不是 Spark.sql？

import os
import sys
import pandas as pd
import odbc as pyodbc
import os
import sys
import re
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql.types import *
from pyspark.sql import Row
from pyspark.sql.functions import *
%matplotlib inline
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import pyspark.sql.functions as func
import matplotlib.patches as mpatches
import time as time
from matplotlib.patches import Rectangle
import datetime
from pyspark import SparkContext, SparkConf
from pyspark.sql import SQLContext
conf = SparkConf()
conf.setMaster("local")
conf.setAppName("AppName")
sqlCtx = SQLContext(sc)

Answer 1

我在这上面花了两个小时，只是为了意识到我不需要:

sqlCtx = SQLContext(sc)

仅使用SQLContext.read.(...)，就我的情况解决了这个问题。