在测试阶段,我们使用少量行的数据进行测试,这个时候可以使用head指令只吐出CSV文本文件的前N行数据,它相当于SQL的limit条件。同样也可以使用tail指令吐出文件的倒数前N行数据。一个复杂的单行命令可以有非常多的单条指令组成,每个指令都会对应着一个进程。数据聚合也是shell里经常使用到的命令,最常用的可能就是用wl来统计行数,其实也可以使用awk来完成更加复杂的统计功能。
在测试阶段,我们使用少量行的数据进行测试,这个时候可以使用head指令只吐出CSV文本文件的前N行数据,它相当于SQL的limit条件。同样也可以使用tail指令吐出文件的倒数前N行数据。一个复杂的单行命令可以有非常多的单条指令组成,每个指令都会对应着一个进程。数据聚合也是shell里经常使用到的命令,最常用的可能就是用wl来统计行数,其实也可以使用awk来完成更加复杂的统计功能。