[Статья] Чистка словарей от шлака

[killfantos]

На просторах интернета есть куча программ и гайдов о том как привести ваши словарики в рабочий вид.
А расскажу я вам о том как это делаю я.
Для этого нам понадобится программа ULM (гуглим сами) и набор программ от insidepro (гуглим сами).

На написание статьи сподвигла нужда в чистке своего словарика от шлака, совместим так сказать приятное с полезным, наш пациент имеет вес 1.4 гб
[Ссылки могут видеть только зарегистрированные пользователи. ]

Просмотрев содержимое видим следующую картину, что наталкивает на то по каким критериям будем чистить (в большинстве случаев он один и тот же)
[Ссылки могут видеть только зарегистрированные пользователи. ]
1 Пункт
Первым делом избавимся от всех строк содержащих пробел. Открываем ULM, выбираем нашего пациента, переходим во вкладку Line tools и ставим галочку как на рисунке, для сохранения строк с пробелами (что с ними делать расскажу позже), если не хотите мучатся с такими строками то сразу выбираем параметр Remove
[Ссылки могут видеть только зарегистрированные пользователи. ]

жмем кнопку Process, в появившемся окне жмем 1 раз на пробел и ок, вылезти еще 1 окно, жмем Ок

Шлака с пробелами вышло на 11.2кк строк (существенно сократили время при переборе по словарю, но этого не достаточно)

  
        mariyeh
       1
      1 aaa
      1 aaaaa
      1 aaaaaashq
      1 aaabdalazez
      1 aaabdoh
      1 aaabed
      1 aaabela
Keir h
Keith 64
Keith Bryant
Keith D
Keith Ferrazzi1
Keith Kerr
Keith McLendon
Keith Murnighan
Keith Ord
Keith Reid
Keith lee2

2 пункт
Выбираем по новой наш словарик (тот что получили после операции Remove.
Второй критерий для чистки будет : , повторяем аналогичные действия 1 пункта.
Получили файлик вида

27412741:1682917
27416538:7820833
274211:274200
27423088:8404454
2742929:2321981
27437522:7187607
274413:642441
274418:972236
27445526:2304467
2744779:password
2744890:5230978
27449146:4649793
27453383:9735541
274539:656565
27454931:1313531
2745869982:nude

отлично, для разделения такого вида я использую софт от insidepro, а именно утилиту SplitOutputFile, просто кидаем наш файлик на SplitOutputFile.exe , на выходе получаем 2 файла, тот что Hashes можно удалить, с Passwords думаю все понятно.
[Ссылки могут видеть только зарегистрированные пользователи. ]
также стоит прогнать на параметры .ru .com (тут уже по обстоятельствам у каждого свой шлак)

3 Пункт
Удаляем из словаря пароли, которые содержат символы с ASCII-кодами выше 127, для этого нам понадобится утилита RemoveNonLatinPasswords
Удаляем из словаря служебные символы с ASCII-кодами ниже 32, для этого нам понадобится утилита RemoveSpecialChars

4 Пункт
Вытащим все строки содержащие только цифры, это будет у нас цифровой словарик.
Опять открываем ULM, выбираем наш словарик который прошел предыдущие стадии чистки. Вкладка Line tools и ставим галочку, как на рисунке.
[Ссылки могут видеть только зарегистрированные пользователи. ]
после чего меняем на Remove.
также можете по мере надобности вытащить строки содержащие только нижний регистр или верхний, или же сделать комбинацию допустим цифры+нижний регистр.
5 Пункт
Разбиваем словарики по длине строк, для этого воспользуемся SplitByLength
длина 5 и меньше символов обычно удаляю, т.к. проще это делать полным перебором.
16 и выше скидываю в отдельный словарик, т.к. пароли длиной больше 16 символов встречаются редко.


Со словариком содержащими пробел делаем по сути тоже самое, что и выше. Для удаления пробелов можете воспользоваться Notepad++
Вот собственно и все, может в будущем чем то дополню

статья написана killfantos'om специально для psh-world
при копировании не забываем упоминать автора