由于Spark SQL不支持insert语句中的列列表,因此出现此错误。所以从insert语句中排除列列表。

下面是我的hive表:

0: jdbc:hive2://hpchdd2-zk-1.hpc.ford.com:218> select * from UDB.emp_details_table;
emp_id emp_name emp_dept emp_joining_date
1 AAA HR 2018-12-06
1 BBB HR 2017-10-26
2 XXX ADMIN 2018-10-22
2 YYY ADMIN 2015-10-19
2 ZZZ IT 2018-05-14
3 GGG HR 2018-06-30

在这里我通过pyspark使用spark sql插入记录
df = spark.sql(“””insert into UDB.emp_details_table values (‘6′,’VVV’,’IT’,’2018-12-18′)”””);
您可以在下面看到给定记录已插入到我现有的配置单元表中。

emp_id emp_name emp_dept emp_joining_date
1 AAA HR 2018-12-06
1 BBB HR 2017-10-26
2 XXX ADMIN 2018-10-22
2 YYY ADMIN 2015-10-19
2 ZZZ IT 2018-05-14
3 GGG HR 2018-06-30
6 VVV IT 2018-12-18

将您的spark sql查询更改为:spark.sql(“”“插入ss.tab值(’1’,’demo’,’demo’)”“”);

注意:我使用spark 2.3,如果你使用的是spark 1.6版本,你需要使用hive上下文。