groupadd -r -g 1009
-r 创建系统用户组,
1009是普通用户组
那这条语句创建的是哪个组

在工作中遇到一个hive表用到了自定义的一个类,无法查询对应表,如何将这个类部署到hadoop集群不同ip 的agent 上
通过读快照将hfile装成orc文件的时候报错
报错提示: Can not create a Path from a null string
检查啦快照名称参数,orc在hdfs上的输出路径和临时存储路径
配置文件core-site.xml和hdfs-site.xml直接copy过来的
度快照转hfile的类(SnapshotHfile2Orcr)和任务链...

但是在外面就输出了
org.apache.hadoop.security.AccessControlException: Permission denied: user=hanxu, access=WRITE, inode="/tmp/hbase1/scanhbase2orc_1004_hanxu/_temporary/0":hadoop:supergroup:drwxr-xr-x

已经配置过免密, 切换用户是不需要密码的, 多级操作输入完命令,让我输入密码,每次都会弹出Permission denied, please try again.,第三次是Permission denied (publickey,gssapi-keyex...
<div style="text-align:center"><b>Reduce阶段的核心</b></div>
- Copy和Merge阶段:Copy阶段和Merge阶段基本同时进行的
- Reduce阶段:返回伪迭代器,执行Reduce函数输出数据到HDFS
<br/>
<div style="text-align:center">核心面板:ReduceTask</div>
```jav...
自己yarn集群配置好后,提交以下任务执行不了,报错信息如下:
```
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--queue hainiu \
--deploy-mode client \
/usr/local/spark/examples/jars/spark-examples_2.11-2.1.1.jar \
2...

这是刚开机的出现的界面, 报出几行错误 ,百度之后,尝试用,xfs_repair,进行修复, 但是出现couldn't initialize XFS library ,不让我进行修复,如下图:

这个图是否可以理解为,若集群中有五个作业ID在运行时,每个作业ID恰好都在这个worker中启动了一个excutor,然后每个executor的资源为均为1 core 、1G?
按我之前的理解...
# scala
## Scala常用的转义字符(escape char)
```scala
\t :一个制表位,实现对齐的功能
\n :换行符
\\ :一个\
\" :一个"
\r :一个回车 println("hello\rk");
```
## 注释(comment)
```scala
单行注释
格式: //注释文字
多行...



我在用Spark插入Es时,不想用Es自己生成的ID,但自己插入ID报错。代码如下图

```
val conf: SparkConf = new SparkConf().setAppName("SparkElasticsearch").setMaster("local[*]")...

还有问一句,hive的char、varchar 和 sql 的 char、 varchar的性质是一样的么

本人独立承担一个项目,所有业务逻辑全部由sql书写完成,因此分享两个月的总结!
# postgresql
<https://www.cnblogs.com/hole/p/11699702.html>
https://www.yiibai.com/html/postgresql/2013/080443.html
## sql函数
### SQL UNION 操作符
```sql
U...
# Lambda表达式
```java
1. Lanbda表达式标准格式
//Lambda表达式的标准格式为:(参数类型 参数名称) -> { 代码语句 }
格式说明:
小括号内的语法与传统方法参数列表一致:
无参数则留空;多个参数则用逗号分隔。
2. Lanbda表达...
# nginx安装
# 1.安装pcre依赖
```shell
1)第一步,安装 pcre
wget http://downloads.sourceforge.net/project/pcre/pcre/8.37/pcre-8.37.tar.gz
2)解压文件
./configure 完成后,回到 pcre 目录下执行 make,
3)再执行
make install
```
### **第...
# scala函数式编程
## 方法、函数、函数式编程
### 函数的定义
```scala
基本语法
def 函数名 ([参数名: 参数类型], ...)[[: 返回值类型] =] {
语句...
return 返回值
}
1.函数声明关键字为def (definition)
2.[参数名: 参数类型], ... :表示函数...


为啥是Long类型,,我在源码里也没找到关于Long类型的字样
# 包
## 1
```scala
1.基本语法
package 包名
2.Scala包的三大作用(和Java一样)
1) 区分相同名字的类
2) 当类很多时,可以很好的管理类
3) 控制访问范围
3.Scala中包名和源码所在的系统文件目录结构要可以不一致,但是编译后的字节码文件路径和包名会...
# Kettle
```java
软件链接:https://pan.baidu.com/s/1jF6kMg4t0UmTNicT6TefFw
提取码:irjm
```
## csv转换为excel

### 2.输入


为什么一直显示这个警告呢 ?
1. 第一个是环境问题
只要对pom加入依赖之类的就会出现这个问题,直接处理没头绪,目前只能重新建一个工程就不会报错,想直接处理的办法

2. 第二个是flink运行时,最初几分钟都正常,过...
有这样的一堆代码
```
byte b1=1,b2=2,b3,b6,b8;
final byte b4=4,b5=6,b7;
b3=(b1+b2); /*语句1*/
b6=b4+b5; /*语句2*/
b8=(b1+b4); /*语句3*/
b7=(b2+b5); /*语句4*/
System.out.println(b3+b6);
```
为啥语句3是编译错误的呢?
b4是final 类型...
# * **前言:**
众所周知,python2.7已经是python2的最后一个版本,并已经在本年度年初失去更新支持,python3以及更新到3.9了。学校的python项目采用2.7,一些项目相关的包可能无法在python3中获取。而安装完2.7后各种提示2.7将要失去更新支持,同时,学校提高的ide工...