在设定上,Hadoop3高版本的Hive环境会默认开启acid以及表格严格管理模式,而Spark会默认读取自身的元数据。所以如果需要以Spark操作Hive,需要修改一些参数:
①修改hive:Advanced hive-interactive-site配置
#严格模式关闭
hive.strict.managed.tables=false
②修改hive:Advanced hive-site配置
#严格模式关闭
hive.
strict. managed. tables=false
③修改Spark2:Advanced spark2-hive-site-override配置
#指定元数据为hive元数据
metastore.
catalog. default=hive
④修改Spark2:Advanced spark2-defaults配置
#指定数仓位置为hive数仓
spark.
sql. warehouse. dir=/warehouse/tablespace/managed/hive