用linux命令分析文件-排序-统计（sort, uniq, awk）

原创

ztguang_张同光 2022-05-03 13:23:06 ©著作权

文章标签 python 自动化测试 linux 文章分类 数据结构与算法人工智能

©著作权归作者所有：来自51CTO博客作者ztguang_张同光的原创作品，请联系作者获取转载授权，否则将追究法律责任

[root@bogon 桌面]# cat booklist.txt

9787302115199

9787302142201

9787302115199

9787115242907

9787115253293

9787302115199

9787302142201

9787115253293

[root@bogon 桌面]# sort booklist.txt | uniq -c | awk '$1>=2 {print $0}'

2 9787115253293

3 9787302115199

2 9787302142201

[root@bogon 桌面]# sort booklist.txt | uniq -c | awk '$1>=2 {print $0}' >booklist-multi.txt

上一篇：Linux系统管理员成长经验：十一大工作心得

下一篇：和学生们的合影-20160330-haoxiaop-daijiy

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

Linux 使用 Split 命令分割文件与合并

Linux的split命令，作为一个强大且实用的工具，其核心功能是将一个极其庞大的单个文件分割成多个更便于管理和处理的小文件。这个特性在众多实际应用场景中都展现出了极高的价值和灵活性。无论是为了适应存储设备的容量限制，还是为了方便文件传输时降低单个文件大小以满足网络传输条件，甚至是在进行大数据分析前按照一定规则预先划分数据集，Linux split命令都能发挥关键作用。

文件分割 Linux 运维后端服务器
Linux 文件管理命令 md5sum awk

Linux 文件管理命令md5sum：MD5 函数值计算和检查 awk：模式匹配语言

Linux命令 md5sum awk
CSV文件太大？教你用最简单的工具分割！

首先，我要介绍的是“一键表格拆分助手”。这是一个由“勤学道人”开发的高性能一键拆分工具，特别适合小白用户。

csv分割 csv分割工具 csv分割拆分工具软件 csv大文件大表格拆分分割工具
awk linux 文件

在Linux系统中，awk是一种强大的文本处理工具，可以用于处理文本文件中的数据。通过awk命令，用户可以从文件中提取特定信息、进行数据转换和格式化输出等操作。在本文中，我们将重点介绍如何在Linux系统中使用awk命令来处理文件。首先，我们来看一下awk命令的基本语法。awk命令的一般格式为：```awk 'pattern { action }' filename```其中，pa

awk命令字段 x系统
linux awk文件内容

在Linux操作系统中，awk是一个非常强大和灵活的文本处理工具，常用于对文件内容进行处理和分析。在这篇文章中，我们将重点讨论使用awk来处理文件内容的一些常见用法以及如何结合linux系统内置的红帽命令来完成更加高效的文件处理任务。首先，让我们简单了解一下awk命令的基本语法。awk命令是以文本行作为处理单位的，通常由模式和动作组成，其基本语法为：```bashawk '模式1 {动作

文件处理 awk命令文件名
Linux文件分割

Linux文件分割是一种常见的操作，它可以帮助用户将一个大文件按照指定的大小或者行数分割成多个小文件，这样可以方便文件传输、存储、以及处理。在Linux系统中，用户可以利用一些命令来实现文件分割操作，其中最常用的命令是split。split命令的基本语法格式为：split [OPTION]... [INPUT [PREFIX]]- OPTION表示split命令的选项，用户可以根据需要选择不

文件分割文件传输文件大小
linux 分割文件

在 Linux 系统中，分割文件是一个常见的操作。通过将大文件分割成小片段，不仅可以提高文件的传输速度，还可以方便存储和管理。而红帽（Red Hat）作为一种广泛使用的 Linux 发行版，自然也提供了相关的工具和命令来完成文件分割的任务。在红帽系统中，最常用的文件分割命令是 "split"。该命令可以将一个大文件拆分成多个小文件，并以指定大小作为分割依据。同时，它还提供了一些可选参数，如指定

文件分割文件处理数据集
linux awk 合并文件命令

当我们需要处理多个文件时，有时候需要将这些文件合并成一个文件来进行统一处理。在Linux系统中，我们可以使用awk命令来快速合并多个文件的内容。下面将介绍如何使用awk命令来合并文件。首先，我们需要先了解一下awk命令的基本用法。awk是一个强大的文本处理工具，可以按行处理文本文件，并且支持对文本进行格式化输出。在awk中，我们可以使用print命令来输出文本内容，使用awk的特定语法来对文本

awk命令文件合并文本文件
linux awk 读取文件内容

在Linux系统中，awk是一种非常强大的文本处理工具，经常被用来读取和处理文件内容。awk是一种处理文本文件的编程语言，可以用于搜索和操作文件中的文本。它是一种模式扫描和处理语言，通常用于从文本文件中提取数据并对其进行格式化输出。在本文中，我们将讨论如何使用awk命令来读取文件内容，并给出一些实用的例子。首先，我们需要了解如何在Linux系统中使用awk命令。awk命令的基本语法如下：``

数组文本处理 awk命令
linux awk awk区别

Linux中的awk是一个非常常用的文本处理工具，它可以帮助我们在文本中查找和处理特定的信息。与其他工具相比，awk有着独特的语法和功能，让我们可以更加高效地处理文本数据。首先，让我们来了解一下awk的基本语法。在awk中，我们可以使用一些关键字来指定需要进行的操作，比如`{}`用来包裹awk的操作代码，`$0`表示整行文本，`$1`表示第一个字段，以此类推。另外，我们可以使用一些内置函数和正

数据 sed 字段
Linux Shell 分割文件

#!/bin/bash####################################################Program: split#Discription: split big file#History: 2012/07/19 redkey###################################################PATH=

Linux Shell 分割文件
linux 分割大文件

split -a 2 -l 10000 app.log child https://www.cnblogs.com/andong2015/p/11008778.html

Linux系统 Linux教程
linux把文件分割

Linux作为一种自由开放源代码的操作系统，拥有强大的文件管理功能。在Linux系统中，我们可以使用一些命令来对文件进行各种操作，其中一个常用的功能就是文件分割。文件分割是指将一个文件分成若干个较小的部分的过程。这个过程可以通过Linux系统提供的一些命令来实现，其中最常用的命令就是split命令。split命令可以将一个大文件按照指定的大小分割成若干个小文件，并且可以指定分割后的文件名开头。

文件名 x系统文件分割
linux tcpdump文件分割

本文详细介绍了其使用选项，如-C参数指定数据切分大小，-w参数保存抓包文件，-q参数用于安静模式。示例展示了如何使用sud名保存的文件名。

linux 运维服务器文件名封包
linux awk

linux awk 2008-11-17 14:59:52| 分类： Linux/Unix |字号订阅 linux awk第一个 awk让我们

linux
linux awk for

Linux awk for是一个在Linux操作系统中常用的命令行工具，它的功能非常强大，可以用于处理文本数据。awk是一种文本处理工具，通过给定的匹配条件和动作，它能够从输入流中筛选出特定的数据，并对其进行处理和输出。使用awk的基本语法格式为：`awk 'BEGIN{...} pattern{...} END{...}' filename`，其中BEGIN和END可以省略。awk处理的数据

数据正则表达式文本处理
linux命令分割文件

split -b 60M -d --verbose sourcelist.xlsx target.xlsx

服务器
linux 文件分割split

split -b 60M -d --verbose sourcelist.xlsx target.xlsx，分割以后的文件如下：

运维
linuxJava大文件分割 linux 文件分割

前言当需要将较大的数据上传到服务器，或从服务器下载较大的日志文件时，往往会因为网络或其它原因而导致传输中断而不得不重新传输。这种情况下，可以先将大文件分割成小文件后分批传输，传完后再合并文件。1. 分割文件文件分割可以使用split命令，该即支持文本文件分割，又支持二进制文件分割；而合并文件可以使用cat命令。1.1 文本文件分割分割文本文件时，可以按文件大小分割，也可以按文本行数分割。按文件大小

linuxJava大文件分割 linux文件拆分文件大小文本文件二进制文件
linux 文件分割重组

按行数分割加上-d，使用数字后缀；加上--verbose，显示分割进度： split -l50000 -d large_file.txt part_ --verbose 按字节分歌 split -b 10G -d --verbose bigdata.log bigdata_ 会生成 bigdata ...

后缀 ide 版本信息 sed 后缀名
windows映射网络驱动器是nfs吗

在部署文件服务器时，我们经常会用映射网络驱动器的方法访问共享文件，但如果有新员工离职、调岗或更换电脑后，就不得不重新映射网络驱动器，在一定程度上即增加了系统管理员的工作负担，另外在一定程度上也会影响员工的工作，尽管访问网络驱动器方法不难，但对于普通员工来说，仍然是件很头疼的事情，比如财务部的小王，在PC1上可以访问财务共享的报表，在PC2上同样希望可以正常访问，如何还需要重新添加映射，岂不是很麻

windows映射网络驱动器是nfs吗右键首选项选项卡
sql server 查看字符串

今天需要修改机器A中的sql server2008 R2的表里一个姓名字段，于是直接select * from tableName where name='张三'，发现虽然表中有这个张三的记录，但是却查不出来，于是换一个机器B新建一个同类型的nvarchar字段一试可以查出，想想估计是字符集出问题了，查看B中的字符集是Chinese_PRC_CI_AS，查看A是Latin1_Gener

sql server 查看字符串 sqlserver 数据库字符集汉字
Kafka的session timeout时间

在上一篇，分析ReplicaManager的同步原理时，提到了DelayedOperationPurgatory，这个部件完成了2个核心功能： 1个是check DelayedProduce的complete条件，如果条件满足（也就是所有replica同步消息完成），则调用DelayedOperation的onComplete函数；另1个就是实现“超时”机制。本篇将详细分析其内部结构。Del

Timing Wheel Delayed 定时器 TimerTask
java程序设计说明书

Java语言程序设计（第12版）个人复习第二章这里写目录标题Java语言程序设计（第12版）个人复习第二章第二章知识点加号（+) 有两种意义：源代码中字符串不能跨行，因此下面语句将导致编译错误标识符必须遵守以下规则：变量的声明与赋值常量命名命名习惯数值数据类型和操作操作符数值型字面值整型字面值浮点型字面值显示当前时间增强赋值操作符自增和自减操作符数值类型转换隐式类型转换：规则：强制类型转换：

java程序设计说明书 java eclipse System 字面值
yolov8预测图片显示下载权重

之前写过一篇文章将Yolo-v2检测到的目标单独保存成图像，其实内容差不多少，只是最近总有人问我对于YOLO-V3的怎么改，下面就详细的说一下，在YOLO-V3的源码中修改具有保存子图像的方法。打开darknet_no_gpu.sln，可以看到很多的代码，其实对我们有用的只有detector.c，image.c,image.h这三个文件。下面就具体介绍一下怎么改。在YOLO的源码中，画

yolov8预测图片显示下载权重 YOLO-V3 子图 Data PowerShell

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯