当前位置 主页 > 服务器问题 > Linux/apache问题 >

    帮助你排序文本文件的 Awk 命令行或脚本(推荐)

    栏目:Linux/apache问题 时间:2019-12-17 21:04

    Awk 是一个强大的工具,可以执行某些可能由其它常见实用程序(包括 sort)来完成的任务。

    Awk 是个普遍存在的 Unix 命令,用于扫描和处理包含可预测模式的文本。但是,由于它具有函数功能,因此也可以合理地称之为编程语言。

    令人困惑的是,有不止一个 awk。(或者,如果你认为只有一个,那么其它几个就是克隆。)有 awk(由Aho、Weinberger 和 Kernighan 编写的原始程序),然后有 nawk 、mawk 和 GNU 版本的 gawk。GNU 版本的 awk 是该实用程序的一个高度可移植的自由软件版本,具有几个独特的功能,因此本文是关于 GNU awk 的。

    虽然它的正式名称是 gawk,但在 GNU+Linux 系统上,它的别名是 awk,并用作该命令的默认版本。 在其他没有带有 GNU awk 的系统上,你必须先安装它并将其称为 gawk,而不是 awk。本文互换使用术语 awk 和 gawk。

    awk 既是命令语言又是编程语言,这使其成为一个强大的工具,可以处理原本留给 sort、cut、uniq 和其他常见实用程序的任务。幸运的是,开源中有很多冗余空间,因此,如果你面临是否使用 awk 的问题,答案可能是肯定的“随便”。

    awk 的灵活之美在于,如果你已经确定使用 awk 来完成一项任务,那么无论接下来发生什么,你都可以继续使用 awk。这包括对数据排序而不是按交付给你的顺序的永恒需求。

    样本数据集

    在探索 awk 的排序方法之前,请生成要使用的样本数据集。保持简单,这样你就不会为极端情况和意想不到的复杂性所困扰。这是本文使用的样本集:

    Aptenodytes;forsteri;Miller,JF;1778;Emperor
    Pygoscelis;papua;Wagler;1832;Gentoo
    Eudyptula;minor;Bonaparte;1867;Little Blue
    Spheniscus;demersus;Brisson;1760;African
    Megadyptes;antipodes;Milne-Edwards;1880;Yellow-eyed
    Eudyptes;chrysocome;Viellot;1816;Sothern Rockhopper
    Torvaldis;linux;Ewing,L;1996;Tux

    这是一个很小的数据集,但它提供了多种数据类型:

    属名和种名,彼此相关但又是分开的 姓,有时是以逗号开头的首字母缩写 代表日期的整数 任意术语 所有字段均以分号分隔

    根据你的教育背景,你可能会认为这是二维数组或表格,或者只是行分隔的数据集合。你如何看待它只是你的问题,而 awk 只认识文本。由你决定告诉 awk 你想如何解析它。

    只想排序

    如果你只想按特定的可定义字段(例如电子表格中的“单元格”)对文本数据集进行排序,则可以使用 sort 命令。

    字段和记录

    无论输入的格式如何,都必须在其中找到模式才可以专注于对你重要的数据部分。在此示例中,数据由两个因素定界:行和字段。每行都代表一个新的记录,就如你在电子表格或数据库转储中看到的一样。在每一行中,都有用分号(;)分隔的不同的字段(将其视为电子表格中的单元格)。

    awk 一次只处理一条记录,因此,当你在构造发给 awk 的这指令时,你可以只关注一行记录。写下你想对一行数据执行的操作,然后在下一行进行测试(无论是心理上还是用 awk 进行测试),然后再进行其它的一些测试。最后,你要对你的 awk 脚本要处理的数据做好假设,以便可以按你要的数据结构提供给你数据。

    在这个例子中,很容易看到每个字段都用分号隔开。为简单起见,假设你要按每行的第一字段对列表进行排序。

    在进行排序之前,你必须能够让 awk 只关注在每行的第一个字段上,因此这是第一步。终端中 awk 命令的语法为 awk,后跟相关选项,最后是要处理的数据文件。

    $ awk --field-separator=";" '{print $1;}' penguins.list
    Aptenodytes
    Pygoscelis
    Eudyptula
    Spheniscus
    Megadyptes
    Eudyptes
    Torvaldis