java python scala linux mysql hadoop hive hbase
spark这些都是必要的

意思是map里的每个value，前后加一个空字符串，返回给原map。 在scala中可以代替传入的匿名变量，可以用做函数的简写，比如mapValues (""+ +"")可以写成mapValues(s => {"" + s + ""})。这里""+_+""是函数s => {"" + s + ""}的简写。 __用来代替s

首先安装hpsql，然后配置hplsql-site.xml，再启动hiveserver2，使用hplsql进行相关的查询。hplsql-site.xml里配置的是到hiveserver2的连接

impala-server是impala的核心进程，数据的计算就靠这个进程来执行，是分布式的存在于集群中的worker进程。所以是靠impala-server来并行计算的

看样子是主机连接失败了

把你这个hive的所有权限设置成对所有访问源有效，设置成'%'

使用MapReduce的streaming来调用python脚本处理每一行数据，比如单词的切割，python脚本将处理的结果通过streaming返回给java程序。然后在reducer聚合再调用你的python脚本实现每个词的累加。

用jdbc读mysql里的hive元库就可以了

@q2488433945 比如可以获得，企业投资人的信息，企业的经营分类，归纳出那些投资机构对那种经营范围感兴趣，然后提供给创业者做寻找投资机构的意见。

@大中 使用资源，比如内存、硬盘。

mr自定义partitioner均衡key分布，或使用distributecache来mapjoin
hive在group和join的时候容易倾斜，随即key前缀或局部聚合再次聚合
hbase分析rowkey分布，再预分region

去maven官方资源库上找找，这不叫集成吧，比如你安cdh的hadoop，还得再安cdh的hbase，cdh只是给你修正了一些社区版的bug和解决版本兼容的问题。你要是想要集成安装这些东西可以使用CM来傻瓜式安装。

solr可以分布式所以这个数据量是没有问题的，但是高并发情况下速度可能会比较慢。

你们是不是要做企查查或者天眼查那些东西？这种数据可以给金融服务做企业授信时使用。