博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
什么情况下 Hive 可以避免进行 MapReduce?
阅读量:4073 次
发布时间:2019-05-25

本文共 403 字,大约阅读时间需要 1 分钟。

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!

本专栏目录结构和参考文献请见

正文

hive 为了执行效率考虑,简单的查询,就是只是 select,不带 count,sum,group by 这样的,都不走 MapReduce,直接读取 hdfs 目录中的文件进行 filter 过滤。

也就是所谓的本地模式

1、直接查询表的数据 不会进行 MapReduce

select * from employee;

2、查询语句中的过滤条件只是分区字段的情况下 不会进行 MapReduce。

select * from order_partition where month='2021-06';

此外,如果设置属性 set hive.exec.mode.local.auto=true; hive 也会尝试使用本地模式。

转载地址:http://lzgji.baihongyu.com/

你可能感兴趣的文章
nodejs内存控制
查看>>
nodejs Stream使用中的陷阱
查看>>
MongoDB 数据文件备份与恢复
查看>>
数据库索引介绍及使用
查看>>
MongoDB数据库插入、更新和删除操作详解
查看>>
MongoDB文档(Document)全局唯一ID的设计思路
查看>>
mongoDB简介
查看>>
Redis持久化存储(AOF与RDB两种模式)
查看>>
memcached工作原理与优化建议
查看>>
Redis与Memcached的区别
查看>>
redis sharding方案
查看>>
程序员最核心的竞争力是什么?
查看>>
Node.js机制及原理理解初步
查看>>
linux CPU个数查看
查看>>
分布式应用开发相关的面试题收集
查看>>
简单理解Socket及TCP/IP、Http、Socket的区别
查看>>
利用HTTP Cache来优化网站
查看>>
利用负载均衡优化和加速HTTP应用
查看>>
消息队列设计精要
查看>>
分布式缓存负载均衡负载均衡的缓存处理:虚拟节点对一致性hash的改进
查看>>