使用pyspark访问hive,出现问题:
Hive Schema version 1.2.0 does not match metastore's schema version 2.3.0
这是因为spark2.3.1默认支持1.x,所以当升级了hive后,就会报这个错。
查了网上有两种解决方案:
1、修改数据库配置(不建议)
# 使用hive数据库 use hive # 查看version表中Schema的版本 select * from version; # 更新version表中schema版本 update VERSION set SCHEMA_VERSION='1.2.0' where VER_ID=1;
2、在hive-site.xml中将hive.metastore.schema.verification
参数设置为false
<property> <name>hive.metastore.schema.verification</name> <value>false</value> </property>