文本与数据

删除重复行

清理粘贴的列表,每行只保留首次出现的内容。

如何使用此工具

  1. 1

    粘贴列表,每行一项。如果顺序很重要,请保留原始副本。

  2. 2

    选择删除重复项、去除首尾空格、删除空行和大小写匹配方式,仅在需要时选择排序。

  3. 3

    运行清理,检查输出是否保留了有意义的差异,然后复制或下载清理后的列表。

删除列表中的重复项,无需逐条编辑。选择首尾空格、空行和字母大小写是否影响结果。默认保留首次出现的原始顺序;排序是单独的可选设置。

确定什么算作相同的一行

两项内容看起来可能相同,却包含不同的行首或行尾空格。去除首尾空白会在比较前清除每行两端的空白字符,但不会合并单词或删除条目中间的空格。如果缩进或行尾空格对数据有意义,请关闭此选项。

忽略大小写会把仅字母大小写不同的条目视为重复。这对普通姓名列表可能有帮助,但对于区分大小写的标识符或路径则可能不合适。请根据列表内容的含义决定,而不是选择能删除最多行的设置。

示例:清理简短的购物清单

假设条目依次为 Milk、bread、Milk 和 BREAD,且第一个 Milk 后多了一个空格。开启去除首尾空格和删除重复项后,两个 Milk 会合并为一个。再开启忽略大小写匹配,bread 和 BREAD 也会合并为一项。保留的拼写取自首次出现的条目。

关闭排序时,结果仍保持 Milk 在 bread 前面,因为它们最初就是按这个顺序出现的。只有按字母顺序排列更有用时,才启用排序。排序与去重解决的是不同问题:删除重复项不需要改变原有顺序。

把每一行作为完整条目

工具比较的是整行。它不会比较段落中的单个词语,也不会寻找拼写不同但意思相近的短语。两行即使包含相同的词,只要顺序不同,仍会被视为不同。即使去掉了首尾空白,标点和内部空格也可能使条目不同。

对于表格,重复行指整行完全重复。工具不会选定某一列作为唯一标识。如果两条客户记录姓名相同但地址不同,它们仍是不同的行。如果是否重复取决于某个字段而非整行,请使用能够识别表格结构的处理方式。

输出与预期不符时

如果看起来重复的内容仍然存在,请检查大小写、标点和每行内部的空格。视觉相似的字符也可能是不同字符。这是文本整理工具,不能判断两个姓名或标识符是否指向现实中的同一对象。

如果删除内容过多,请关闭忽略大小写或去除首尾空白,再用原始输入重试。删除空行适合整理复制来的列表,但也可能去掉有意保留的分节。处理有结构的文本时,先少开一些选项,在替换工作副本前比较结果。

常见问题

删除重复项会给列表排序吗?

不会。默认保留首次出现的顺序。排序是可选项,因此检查清单或优先级列表可以在删除重复行的同时保留原始次序。

会改写我的文字吗?

工具只应用你选择的清理选项。它不会改写内容、纠正拼写或识别近似重复项。忽略大小写比较,并不意味着所有输出内容都会被改为小写。

粘贴的文本会被上传吗?

文本在浏览器中本地处理,清理时不会上传。刷新页面前请复制或下载输出;如果需要记录被删除的条目,请保留原始文本。

参考资料与延伸阅读