返回 登录
0

Spark-sql与Hive的关系

关联文章:Hive-On-Spark 和 Spark 的理解
  1. spark sql 在某些部分是重用的Hive的东西,比如语法解析、元数据存储,到执行计划的翻译部分。HiveQL可以翻译成mapreduce执行,也可以翻译成spark执行计划执行。
  2. 在同时安装了Hive和spark时,我使用hive下的beeline执行HQL,执行引擎是mapreuce;使用spark下的spark-beeline执行HQL,执行引擎是spark。
  3. 不管是上面哪种方式执行 HQL的 DDL,create table,在两个shell环境都能看得到;也能确认spark复用了Hive的元数据管理。
  4. 现在是不是没有hive-on-spark的说法了?现在的新版本就只叫spark sql 了吧。
评论