如果数据量小的话可以，数据量大的话那用户等待时间长，就体验太差了。用户的忍耐度有一个3秒定论。当然如果是企业内部使用的话，即使用spark去查太大的数据量。也会有较长的等待时间，自己内部员工使用还凑合，不过要是你领导使用的话那他就不干了。:joy:

@歌唱祖国 恩，有的时候不是文件是乱码的，而是打开的方式使用的编码不对让人觉得文件乱码了。

@歌唱祖国 那就用软件看一下文件的编码比如notepad++

@ling775000 不同的解决方案而已，用MemcacheDB的地方也可以用hbase替代，但对比redis。对大数据的操作更友好，比如读取和写入。技术都有替代品而不是非得用那个，选择自己适合自己场景的。

需要：大缓存、KV存储并实时查询、要求可动态扩展，简单的说是需要nosql的场景，再简单的讲你可以理解成一个不受内存限制的大map

@歌唱祖国 去控制台上用vim查看一下文件的编码吧，在vim中使用命令:set fileencoding

@歌唱祖国 先让CVS不乱码，转换成excel的时候再调使用转换工具输出的编码

@歌唱祖国 我的意思是你导出csv再转成excel

@歌唱祖国 csv不就能用excel打开吗？你导出csv不就行了吗？
如果非要转换的话你可以看看python的xlrd和csv模块，写个python脚本直接调用就可以当命令去使用的，不过数据太大速度也不会快

join时小表使用map端join，当然现在新版的hive都是自动开启的
多使用子查询
分区表必须指定分区
数据格式使用ORC格式
查询小文件时使每个map读多个文件，避免产生过多的map
可以使用桶表做查询文件的限制
可以给无修改数据的hive表创建所引
使用窗口函数进可适用增加map或reducer的内存
mapper输出必须开启压缩
shuffle数据倾斜时使用随机key前缀均衡倾斜的key，当然对于数据倾斜最好的方案还是让被查询的表不倾斜。

暂时想到这么多，当然以上都是针对mapreducer计算引擎的。
hive on spark最主要是GC调优，shuffle的优化等等

先去服务器上执行hive的命令看看导出的文件是不是乱码，hive默认导出的文件都是UTF-8的。

你这个特点适用快速上手的，而且有其它语言基础python很好学
先搭建出开发环境，掌握python的软件包的安装方法，快速了解基础语法，跟你现有掌握的语言对照着学习，比如JAVA
给你个两天学习python的教程
http://hainiubl.com/topics/199

正常会找项目下的hbase-site.xml文件，如果你的build-path里没有则会找jar包里的，想让程序启动以后找到你的配置那就往eclipse的项目目录下放一个hbase-site.xml文件，以后发问题可以贴图这样会清楚一些，看一下这个文章怎么配置hbase
http://hainiubl.com/topics/123

就是在集群中数据所在的机器执行你的任务，这样就不用耗费网络资源了

可以利用现成的hadoop集群，不用再单独搭建一套spark集群，已提高集群的利用率另外hadoop集群都有现成的hdfs，相比单独搭建spark集群去读hadoop的hdfs，能更好的实现任务本地化，spark功能很多唯独没提供像hdfs的分布式存储。