江苏龙网

  1. 主页 > 生活百科 > >

Linux Shell 文本处理工具，看完这篇集锦就够了( 二 )

Linux Shell


sort unsort.txt | uniq -d可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数
6、用tr进行转换
通用用法
echo 12345 | tr '0-9' '9876543210' //加解密转换，替换对应字符 cat text| tr ' ' ' ' //制表符转空格tr删除字符
cat file | tr -d '0-9' // 删除所有数字-c 求补集
cat file | tr -c '0-9' //获取文件中所有数字 cat file | tr -d -c '0-9' //删除非数字数据tr压缩字符
tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格
cat file | tr -s ' '字符类
tr中可用各种字符类：
alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：tr [:class:] [:class:]
eg: tr '[:lower:]' '[:upper:]'7、cut 按列切分文本
截取文件的第2列和第4列：
cut -f2,4 filename去文件除第3列的所有列：
cut -f3 --complement filename-d 指定定界符：
cat -f2 -d";" filenamecut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段
cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位（使用定界符）
eg:
cut -c1-5 file //打印第一到5个字符 cut -c-2 file //打印前2个字符8、paste 按列拼接文本
将两个文本按列拼接到一起;
cat file112cat file2colinbookpaste file1 file21 colin2 book默认的定界符是制表符，可以用-d指明定界符
paste file1 file2 -d ","
1,colin
2,book
9、wc 统计行和字符的工具
wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数
10、sed 文本替换利器
首处替换
sed 's/text/replace_text/' file //替换每一行的第一处匹配的text全局替换
sed 's/text/replace_text/g' file默认替换后，输出替换后的内容，如果需要直接替换原文件,使用-i：
sed -i 's/text/repalce_text/g' file移除空白行：
sed '/^$/d' file变量转换
已匹配的字符串通过标记&来引用.
echo this is en example | sed 's/w+/[&]/g'$>[this] [is] [en] [example]子串匹配标记
第一个匹配的括号内容使用标记 来引用
sed 's/hello([0-9])//'双引号求值
sed通常用单引号来引用；也可使用双引号，使用双引号后，双引号会对表达式求值：
sed 's/$var/HLLOE/' 当使用双引号时，我们可以在sed样式和替换字符串中指定变量；
eg:p=pattenr=replacedecho "line con a patten" | sed "s/$p/$r/g"$>line con a replaced其它示例
字符串插入字符：将文本中每行内容（PEKSHA） 转换为 PEK/SHA
sed 's/^.{3}/&//g' file11、awk 数据流处理工具
awk脚本结构
awk ' BEGIN{ statements } statements2 END{ statements } '
工作方式
1.执行begin中语句块；
2.从文件或stdin中读入一行，然后执行statements2，重复这个过程，直到文件全部被读取完毕；
3.执行end语句块；
print 打印当前行
使用不带参数的print时，会打印当前行;
echo -e "line1line2" | awk 'BEGIN{print "start"} {print } END{ print "End" }' print 以逗号分割时，参数以空格定界;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1, var2 , var3; }'$>v1 V2 v3使用-拼接符的方式（""作为拼接符）;
echo | awk ' {var1 = "v1" ; var2 = "V2"; var3="v3"; print var1"-"var2"-"var3; }'$>v1-V2-v3特殊变量：NR NF $0 $1 $2
NR:表示记录数量，在执行过程中对应当前行号；
NF:表示字段数量，在执行过程总对应当前行的字段数；
$0:这个变量包含执行过程中当前行的文本内容；
$1:第一个字段的文本内容；
$2:第二个字段的文本内容；
echo -e "line1 f2 f3 line2 line 3" | awk '{print NR":"$0"-"$1"-"$2}'打印每一行的第二和第三个字段：
awk '{print $2, $3}' file统计文件的行数：
awk ' END {print NR}' file累加每一行的第一个字段：
echo -e "1 2 3 4" | awk 'BEGIN{num = 0 ; print "begin";} {sum += $1;} END {print "=="; print sum }'


推荐阅读


上一篇：linux下实现免密传输文件或登录到其他服务器

下一篇：利用树莓派搭建个人服务器