JQ URL

https://stedolan.github.io/jq/download/
https://stedolan.github.io/jq/manual/#Invokingjq
这是一个开源工具，用于处理json 。

前言

"The API uses JSON to serialize data. You don’t need to specify .json at the end of an API URL."

在linux 下使用gitlab API 返回json 对象，经常使用python处理返回结果。 如果只是单纯地使用shell脚本中，常将其当作文本，并用sed ,grep,cut分解。但是因为它不是准确地分解对象中的组成，而是简单地通过关键字进行筛选和切割，所以经常会有遗漏或不够准确。

在linux 中安装jq , 可以在shell 中直接使用jq 对json 对象进行处理。

安装jq

下载 jq 源码包编译安装

# configure ,make ,make install 
cd jq
autoreconf -i
./configure --disable-maintainer-mode
make
sudo make install

下载二进制文件直接使用

[root@huangbei ~]# chmod +x jq-linux64
[root@huangbei ~]# mv jq-linux64 /usr/bin/jq
[root@huangbei ~]# jq
jq - commandline JSON processor [version 1.6]
Usage:  jq [options] <jq filter> [file...]
        jq [options] --args <jq filter> [strings...]
        jq [options] --jsonargs <jq filter> [JSON_TEXTS...]
jq is a tool for processing JSON inputs, applying the given 

包含行首尾的空格

echo ${#Massage}

不包含行首尾的空格

echo $Massage | awk '{print length($0)}'

示例

[lcf@huangbei ~]$ Massage=" Usage: $0 \${RELEASE_NOTE_FULL_PATH} "
[lcf@huangbei ~]$ echo ${#Massage}
39
[lcf@huangbei ~]$ echo $Massage | awk '{print length($0)}'
37

[lcf@huangbei ~]$ Massage="Usage: $0 \${RELEASE_NOTE_FULL_PATH}"
[lcf@huangbei ~]$ echo ${#Massage}
37

rel7.1 默认安装的python 没有连带安装python-pip,需要另装。

1.安装epel库

#官方源中无python-pip
yum search pip 发现无python-pip
#搜索后发现需要安装第三方软件库
yum -y install epel-release
vi  /etc/yum.repos.d/epel.repo
   [epel]
   baseurl //打开注释
   #metalink //注释
yum clean all
yum makecache

2.安装 pip

yum install python-pip

写在前面

gitlab 的CI/CD ，即持续集成，持续构建并部署测试的过程，实质上是
1. 将持续集成的过程阶段（编译构建/打包/部署/测试）写在gitlab.yml中
2. 并将准备执行gitlab.yml脚本内容的服务器配置为gitlab服务器的一个runner。
3. 当gitlab 库中的提交时，便会自动触发一次在runner 上的持续集成过程。

创建 gitlab-ci.yml

注意: gitlab.yml 是一个yaml文件，对缩进非常严格，需要始终使用空格，而非制表符。
https://gitlab.${company}.com/help/ci/yaml/README.md
具体格式及构成可参考gitlab help/ci/yaml/README.md 文件

在库中的根目录下，创建一个名为.gitlab.yml的文件
1. 通过 CI-CD --> jobs --> CI Init 直接编辑初始化文件
2. 在库中的根目录下，创建一个名为.gitlab.yml的文件

配置库的CI/CD

在库的设置中Setting--> CI/CD --> runners 展开
使用共享 runner 去运行 ： Shared Runners
使用指定 runner 去运行 ： Specific Runners //如从新配置一台服务器作为gitlab.yml 中脚本运行的runner，请按如下配置runner执行

配置 Runner

https://docs.gitlab.com/runner/install/

安装GitLab Runner

# Linux x86-64
sudo curl -L --output /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64

赋执行权限

sudo chmod +x /usr/local/bin/gitlab-runner

创建 GitLab CI 用户:

git reset test.txt #将指针后移
git checkout test.txt #重新检出一份代码，检出的版本是当前workspace 最新的commit版本

test.txt ：modify ,未add ,未commit

撤销修改内容

git reset test.txt #无改变，因为未受控，未追踪
git checkout test.txt #撤销修改内容

test.txt ：modify ,add ,未commit

撤销 add

git reset test.txt #返回到未add 的状态
git checkout test.txt #撤销修改内容

test.txt ：modify ,add ,commit

撤销commit

##对于修改已经commit 到本地仓库的
git log -n 2 ##找到上一次commit pre-ID
git reset pre-ID ## 将workspace 恢复到上一条commit,即撤销本次commit
git status ## 可以看到文件又回到add 未commmit状态

对于本地仓库已经更新远程最新，想要撤销更新，回退到未更新前的某个commit 的位置

git reset ID 
git status 
git checkout  XXX  XXXXfile 

等于

git reset --hard ID  ## --hard 表示回退指针再恢复文件内容
## 即--hard == reset + checkout 
git status
# 以下摘自https://git-scm.com/book/zh/v2
虽然在调用时加上 --hard 选项可以令 git reset 成为一个危险的命令（译注：可能导致工作目录中所有当前进度丢失！），但本例中工作目录内的文件并不会被修改。 不加选项地调用 git reset 并不危险 — 它只会修改暂存区域。

以上，恢复到远程某个commit 时的版本，等到远程稳定时再用git pull 就可以重新再更新到最新

merge 和cherry pick

merge

merge也是同一分支的远程和本地的合并，即远程分支有修改但未更新到本地的文件，同时在本地被修改commit . 当进行push 的时候会报错，并提示使用git pull 进行更新合并

git pull = git fetch + git merge
## git 会进行智能合并，不能自动解决冲突的，会变成nnmerge 状态，需要手动编辑合并

merge是分支和分支之间的合并，从一个分支向另一个分支推送全部修改，可以通过命令merge request 进行合并。

这一种合并一般需要用merge request 进行整个branch的合并

cherry pick

是挑选出特定的commit , 推送到另一个分支中

sed -i "/key/c\modify key line "  file
#把file 中带有 key 的所有行替换为modify key line

eg.

change_list=`cat temp3.txt `
for i in ${change_list}
do
	if [[ $exp ]]; then 
        sed -i "/${i}/c\\${i} <-- change" temp2.txt
    fi
done

在exit 0 前面插入一行:i

sed -i '/^exit 0/i \/sbin\/start ttyS0' /etc/rc.local

在exit 0 后面插入一行:a

sed -i '/^exit 0/a \/sbin\/start ttyS0' /etc/rc.local

处理同一个打印结果 中，取多行标题及关键字匹配行

accurev show wspaces | head -n 5 ; accurev show wspaces | grep EPDG_R16

以上accurev show wspaces 执行了两次，在两次结果里各取结果 再拼接，效率较低

sed -n '1,5p'
sed -n '/xxxxx/p'
sed  -n '1,5p;/^EPDG_R16_xxxx/p'

使用sed 将两个条件用分号串成多个条件，对结果进行“或关系”匹配

accurev show wspaces | sed  -n '1,5p;/^EPDG_R16_xxxx/p'
                                                             Stream #
                                                             |  Target X-Action
                                                             |  |  X-Action