【Hive】高版本下与Spark共享事务

在设定上,Hadoop3高版本的Hive环境会默认开启acid以及表格严格管理模式,而Spark会默认读取自身的元数据。所以如果需要以Spark操作Hive,需要修改一些参数:

 

①修改hive:Advanced hive-interactive-site配置

#严格模式关闭

hive.strict.managed.tables=false

 

②修改hive:Advanced hive-site配置

#严格模式关闭

hive.strict.managed.tables=false

 

③修改Spark2:Advanced spark2-hive-site-override配置

#指定元数据为hive元数据

metastore.catalog.default=hive

 

④修改Spark2:Advanced spark2-defaults配置

#指定数仓位置为hive数仓

spark.sql.warehouse.dir=/warehouse/tablespace/managed/hive