Программы для поиска дубликатов файлов

1. Carambis Cleaner
2. Duplicate Cleaner
3. DupeGuru
4. AllDup
5. Fast Duplicate File Finder
6. Auslogics Duplicate File Finder

При необходимости освободить пространство на жестком диске или любого другом типе накопителя хорошо помогают программы, позволяющие находить и удалять дубликаты файлов. Некоторые из таких приложений предназначены специально для выполнения данной задачи, другие имеют соответствующую функцию (помимо прочих).

Carambis Cleaner

• Условно-бесплатная программа
• Бессрочная лицензия: 3000 руб, подписку 250 руб./мес. или 1750 руб./год

Программа Carambis Cleaner, в отличие от Duplicate Cleaner, является многофункциональной утилитой для очистки системы от мусора. Одна из функций приложения — поиск и удаление дубликатов файлов, хотя ее возможности в этом плане скромней, особенно с учетом ограничений бесплатной версии (программа отображает только первые 10 найденных дубликатов). Программа Carambis Cleaner подходит для операционных систем Windows XP/7/8/10 (32-бит/64-бит), интерфейс имеет полный перевод на русский язык.

В список функций программы Carambis Cleaner входит:

• Очистка системы (раздела жесткого диска, куда установлена ОС) от мусорных файлов — кэш, журналы, временные файлы программ, ошибочные записи реестра и т.д.
• Удаление программ (обычное удаление без последующей очистки от мусора).
• Удаление файлов без возможности восстановления.
• И удаление дубликатов файлов.

Хоть из всего перечисленного нас интересует только последний пункт, в целях освобождения дискового пространства не будет лишним использовать функцию очистки системы.

Перед началом рекомендуем открыть настройки программы, где можно установить уровень точности сравнения аудио и/или изображений (по умолчанию установлено 80%). Делается это во вкладке "Дополнительно" настроек программы. Можете оставить, как есть либо увеличить уровень точности до 100%, что позволит программе находить только точные копии файлов (к сожалению, это относится только к аудио и изображениям).

Теперь можно приступить к поиску дубликатов:

• В основном окне программы запустите функцию "Найти дубликаты".

• Кликните по кнопке "Добавить папку…" и укажите директорию либо диск (раздел диска, флешку).

• Кликните по кнопке "Найти".

• Дождитесь окончания процесса сканирования. В левой части окна программы будут указаны имена файлов. Кликните по любому из них, чтобы просмотреть список обнаруженных дубликатов. Затем отметьте файлы, которые следует удалить, и кликните по кнопке "Удалить выбранные".

Duplicate Cleaner

• Платная программа
• Цена лицензии: $29,95

Duplicate Cleaner можно назвать профессиональным средством поиска файлов (в т.ч. и дубликатов), т.к. это — основная и единственная функция данной программы. Приложение работает в среде ОС Windows Vista и выше (32-бит и 64-бит), имеет поддержку русского языка. К сожалению, программа Duplicate Cleaner распространяется платно, но разработчики предоставляют возможность бесплатного использования в течение 15 дней.

Сразу обратим внимание на наличие в программе Duplicate Cleaner 3 режимов поиска файлов:

1. Обычный режим, при котором осуществляется поиск любых типов файлов путем сравнения их содержимого.
2. Режим поиска изображений путем их сравнивания по содержимому (визуальные сходства) и/или метатегам (время создания, координаты места съемки и т.д.).
3. Режим поиска аудиофайлов по содержимому (т.е. программа "прослушивает" аудио), продолжительности и/или метатегам (исполнитель, альбом и т.д.).

Независимо от выбранного режима, пользователь также может задать дополнительные критерии поиска файлов, например:

• Имя и/или расширение (поддерживаются маски имен).
• Дата создания/изменения.
• Размер (точный или интервал) и другие.

Отдельно отметим способность программы Duplicate Cleaner сравнивать файлы с использованием различных методов, а именно: побайтно (byte-to-byte), с использованием MD5, SHA-1, SHA-256 и SHA-512 хэша. По умолчанию программа работает с MD5-хэшем, но пользователь может выбрать любой из названных способов поиска в настройках.

Ввиду того, что интерфейс Duplicate Cleaner выполнен на русском языке (хоть перевод местами хромает или вовсе отсутствует), использование программы не вызовет никаких сложностей у русскоязычных пользователей. Например, чтобы найти и удалить дубликаты (т.е. точные копии) видеофайлов с расширением ".MP4" на указанном локальном диске:

• Во вкладке "Критерии поиска" выберите "Обычный режим" поиска, затем задействуйте опцию "Похожее содержание".
• В разделе "Фильтры поиска" в поле "Включено" скопируйте "*.mp4" (без кавычек).

• Перейдите во вкладку "Сканировать путь". В левой части окна выберите диск (флешку/раздел), который следует отсканировать на наличие одинаковых файлов (в нашем случае — видео с расширением .MP4). Нажмите на кнопку "Сканировать".

• Дождитесь окончания процесса сканирования. После этого автоматически откроется вкладка "Дубликаты файлов". В правой части окна можно будет увидеть найденные дубликаты файлов (если таковые были обнаружены).
• Если над файлами требуется выполнить какое-либо действие (например, удалить), отметьте их в списке, затем кликните по кнопке "Удаление файлов" в верхней част окна программы.

• Во вновь открывшемся окне выберите требуемое действие над отмеченными файлами (т.к. нам нужно удалить файл, кликните по кнопке "Удалить файлы").

На этом работу с программой можно завершить.

DupeGuru

Бесплатная программа

Это еще одна программа, специализирующаяся исключительно на поиске дубликатов файлов. Приложение DupeGuru распространяется совершенно бесплатно, подходит для ОС Windows XP и выше (32/64 бит), интерфейс имеет перевод на русский язык (не 100%).

DupeGuru обладает примерно теми же функциональными возможностями, что и первая в нашем обзоре программа — Duplicate Cleaner. Здесь также предусмотрено три режима поиска файлов:

1. Стандартный режим — поиск всех типов файлов путем сравнения их содержимого или имен. В этом режиме можно выбрать опцию поиска папок с одинаковыми именами.
2. Режим поиска аудиофайлов по метатагам или контенту.
3. Режим поиска изображений по визуальному сходству либо EXIF-тегам.

И, конечно, программа Duplicate Cleaner способна удалять, копировать и перемещать обнаруженные дубликаты файлов.

Найдем с помощью программы DupeGuru дубликаты всех типов файлов на указанном разделе жесткого диска, а затем удалим их. Для этого:

1. Выберите в главном окне программы стандартный режим поиска (Standard).
2. В выпадающем списке "Тип поиска" установите значение "Content" (сравнение по содержимому, а по сути — хэш-сумме).
3. Добавьте раздел жесткого диска для сканирования, воспользовавшись соответствующей кнопкой в правом нижнем углу.
4. Кликните по кнопке "Сканирование".

Результат сканирования будет иметь примерно следующий вид:

Если установить галочку на пункте "Только дубликаты" в верхней части окна программы, из списка будут убраны имена "оригинальных" файлов.

Теперь эти файлы можно удалить, переместить или скопировать, сначала отметив их все (CTRL+A либо в меню "Отметить" пункт "Отметить все"), затем выбрав нужное действие в меню "Действия".

AllDup

Бесплатная программа

Продолжим обзор еще одной бесплатной программой, специализирующейся на поиске и удалении дубликатов файлов. В приложении AllDup имеется множество настроек поиска — больше, чем у всех вышеперечисленных программ. В связи с этим стоит полагать, что AllDup предназначен для профессионального использования пользователями, ежедневно сталкивающихся с необходимостью обработки большого массива файлов.

Программа AllDup подходит для использования в 32-бит/64-бит системах Windows XP/7/8/10. Интерфейс имеет перевод на русский язык. Приложение AllDup позволяет сравнивать файлы по следующим критериям:

• Имена файлов. Программу AllDup можно настроить не только на сравнение полных имен файлов, но и их части — указанное количество символов в начале или в конце. Также можно задать символы, которые будут игнорироваться в процессе сравнения. Кроме того, AllDup способен даже обнаруживать файлы с похожими именами, используя один из 8 алгоритмов сравнения, как SmartMatch, FuzzyMatch, Ratcliff и другие.
• Содержимое файлов. AllDup предлагает использование одного из 6 методов сравнения содержимого — побайтное, MD5, SHA-160, SHA-256, SHA-384 и SHA-512. При выборе побайтного сравнения пользователь может вручную указать размеры блоков чтения в байтах
• Дате создания/изменения с возможностью задействования опции игнорирования метки времени и/или секунд.
• Расширению, размеру и атрибутам. Здесь нет дополнительных опций.

Отдельно отметим функционал AllDup по поиску дубликатов/похожих изображений и аудиофайлов. Касательно изображений, программа предлагает следующие возможности:

• Три метода поиска дубликатов — aHash, dHash и pHash.
• Ручная установка процента визуальной схожести.
• Поиск измененных изображений (повернутых и отраженных).

Для поиска дубликатов музыкальных файлов в AllDup имеется возможность ручной установки продолжительности (в секундах) отрезка сканирования и процента схожести. Предусмотрено 4 метода сравнивания аудиофайлов.

Среди прочих функциональных возможностей AllDup отметим:

• Включение/выключение опции определения различных характеристик файлов.
• Возможность сканирования файлов, упакованных в архивы формата ZIP, 7Zip, RAR, TAR, ISO, CAB и многие другие.
• Возможность сравнивания содержимого офисных документов DOC,DOCX,RTF.
• Возможность подключения внешних программ для сравнения содержимого поддерживаемых теми форматов файлов.
• Создание фильтров файлов по расширению и размеру.
• Предпросмотр найденных файлов (включая видео и аудио) внутри программы, для чего используются на компьютере должны быть установлены/влючены приложения WordPad, Windows Media Player или VLC Media Player, Internet Explorer, Photo Viewer.

Несмотря на наличие большого числа настроек и опций, программу AllDup могут использовать пользователи, не знакомые со всеми нюансами поиска дубликатов файлов. В приложении предусмотрен специальный модуль "Быстрый старт" (небольшое окошко), при помощи выполнить поставленную задачу можно в 3 простых шага:

1. Кликните по кнопке "Выберите исходную папку" в окошке "Быстрый старт", укажите папку/диск/раздел для поиска и задайте метод сканирования (не обязательно).

2. Кликните по кнопке "Выберите метод поиска" в окне быстрого старта и задайте критерии поиска дубликатов (содержимое, размер, дата создания и т.д.)

3. Кликните по кнопке "Начните поиск" и дождитесь окончания процесса поиска.

Примерно так будет выглядеть результат поиска дубликатов:

Осталось отметить дубликаты, над которыми следует выполнить то или иное действие. Отметить файлы можно и в автоматическом режиме, выбрав нужный пункт в меню "Выбор":

Кликните по кнопке "Операции с выбранными файлами". Откроется новое окно, в котором будут приведены все доступные варианты действий с отмеченными файлами.

Fast Duplicate File Finder

Бесплатная программа

Fast Duplicate File Finder — бесплатная редакция PRO-версии программы (Fast Duplicate File Finder Professional) с урезанным функционалом. Однако функции по работе с дубликатами файлов здесь все же доступны. Программа работает во всех версиях операционных систем Windows, начиная с NT (32/64 бит). Перевода на русский язык не предусмотрено.

Поиск и выполнение различных операций над дубликатами файлов — две основные функции программы Fast Duplicate File Finder. Приложение предоставляет пользователю возможность настройки функции поиска, а именно:

• Выбор метода сравнения. Здесь их 4: поиск идентичных (на 100%) и похожих (процент схожести устанавливается вручную) по содержанию файлов, поиск файлов с одинаковыми именами и размером.
• Возможность сохранения результатов сканирования с автоматическим выполнением определенного действия (например, выключение компьютера) после завершения процесса.
• Автоматический выбор массива обнаруженных дубликатов/похожих файлов по заданным критериям: дата создания/изменения, длина имени, размер. Все параметры выделения задаются пользователем вручную.
• Выполнение над отмеченными файлами стандартных для таких программ действий: удаление (безвозвратное или в корзину), копирование, перемещение, создание жестких ссылок с сохранением/без сохранения иерархии папок.

Остальные функции (фильтрация результатов, расширенные инструменты выделения и другие) доступны только в PRO-версии программы Fast Duplicate File Finder.

Здесь все довольно просто:

• Создайте новый проект, кликнув по кнопке "New Project", и выберите в новом окне папку/диск/раздел, который следует очистить от дубликатов файлов. Выберите требуемый метод сканирования в выпадающем списке "Method" (т.к. мы ищем дубликаты, выбираем вариант "100% Equal Files"), после — кликните по кнопке "Start Scan" для начала сканирования.

• Дождитесь окончания процесса сканирования. В результате программа Fast Duplicate File Finder отобразит список файлов, разбив их все по группам. В одну группу помещается "оригинал" файла и его дубликат.

• Теперь останется отметить файлы, которые следует удалить/переместить/скопировать. Это можно сделать вручную либо воспользоваться функцией "Autocheck". В качестве критерия для автовыделения можно, к примеру, выбрать вариант "Newer File Dates"/"Created", в этом случае программа отметит файлы, которые были созданы позднее их дубликатов.

• Выбираем нужное действие над отмеченными файлами (для удаления выбираем "Delete Checked Files") и нажимаем по кнопке "Perform" для его выполнения.

Auslogics Duplicate File Finder

Бесплатная программа

Программа Auslogics Duplicate File Finder является одной из самых простых в использовании. Приложение распространяется бесплатно, однако в нем присутствует встроенная реклама других продуктов Auslogics. Также требуется быть внимательным при установке этой программы, т.к. вместе с ней на компьютер могут установиться "левое" ПО (также от Auslogics). Приложение совместимо с ОС Windows 7/8/8.1/10 (32-bit/64-bit). Интерфейс имеет перевод на русский язык.

Auslogics Duplicate File Finder — узкоспециализированная программа, предназначенная исключительно для поиска и удаления дубликатов файлов. Среди доступных опций утилиты отметим:

• Поиск дубликатов изображений, аудио, видео, архивов и приложений (можно выбрать, какие именно типы файлов будет искать программа). Имеется и простой режим работы, предполагающий поиск всех типов файлов.
• Возможность пропуска файлов в процессе сканирования больше/меньше указанного размера, файлов с одинаковыми именами и/или датой создания, скрытых файлов.
• Возможность поиска файлов с указанными пользователем символами в своем названии.
• Удаление файлов в корзину Windows, сохранения в архив "Rescue Center" (в этом случае файлы можно будет восстановить из самой программы) или безвозвратное удаление.
• Просмотр содержимого найденных файлов, включая видео.
• Возможность создания списка исключения папок, которые будут пропущены в процессе сканирования, а также масок имен/расширений файлов.
• Автоматическая очистка архива "Rescue Center" по истечению указанного времени (максимум 3 месяца) и/или достижении его размера определенного процента от объема диска/раздела диска.

В программе Auslogics Duplicate File Finder предусмотрен специальный мастер поиска дубликатов файлов с пошаговой настройкой:

• В основном окне программы выберите папку/диск/раздел для сканирования и укажите типы файлов для поиска (если необходимо найти дубликаты любого типа выберите режим сканирования "Искать среди всех файлов").

• Установите, если требуется, ограничения по размеру файлов, которые будут сравниваться между собой.

• При необходимости выберите критерии поиска для игнорирования файлов.

• Если требуется сравнить файлы, в имени/расширении которых присутствуют определенные символы, введите их в соответствующее поле, либо выберите вариант "Искать все названия файлов".

• Выберите действие программы Auslogics Duplicate File Finder над обнаруженными дубликатами: удалить в корзину, сохранить в архив "Rescue Center" или удалить безвозвратно. Запустите процедуру сканирования, кликнув по кнопке "Поиск"

• По окончанию сканирования программа предложит выбрать из списка файлы, которые будут удалены. Если требуется удалить только дубликаты, выберите в выпадающем списке в нижней части окна опцию "Выбрать все дубликаты в каждой группе". После — нажмите кнопку "Удалить выбранные файлы" для завершения работы с программой