Удалитель дубликатов в CSV-файлах

Дедупликатор использует полное равенство строк. Две строки считаются дубликатами, когда все ячейки совпадают позиция за позицией после стандартного разбора CSV.

Что всё ещё считается различием

Когда уместнее дедупликация на уровне столбца

Сопоставление целых строк строгое, и обычно это именно то, что нужно, но иногда требуется «одна строка на адрес электронной почты, независимо от остальных столбцов». В этом случае сначала используйте инструмент «Извлечение столбца CSV», чтобы сократить файл до одного ключевого столбца, удалите дубликаты в нём, а результат используйте как справочник. Либо примените SQL: SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; в PostgreSQL или GROUP BY с агрегатом MIN() в других СУБД.

Практические советы

• Нормализуйте данные перед дедупликацией. Сначала обрежьте пробелы и приведите к единому регистру ключевые столбцы, иначе и ALICE@EXAMPLE.COM, и alice@example.com останутся в результате.
• Сортируйте, а затем дедуплицируйте, чтобы результат можно было проверить. Если вам важно знать, какая копия сохранена, отсортируйте CSV по нужному критерию разрешения (самая свежая метка времени, наименьший ID) перед запуском дедупликатора.
• Проверьте количество строк. Используйте «Счётчик строк CSV» на исходном и на выходном файле, чтобы убедиться, сколько дубликатов было удалено.