Предлагаю Вашему вниманию бесплатный скрипт “Base Editor” от разработчика в прошлом популярной спамилки Spam It kaizer Zaido.
Собственно, что умеет делать этот скрипт и чем он полезен:
- фильтрует базу ссылок оставляя уникальные урлы;
- фильтрует базу ссылок оставляя уникальные домены;
- проводит чистку базы, удаляя злокачественные переменные в query (ака sid/page/etc.);
- чистит базу от злокачественных url (тех, что вы укажете в фильтре).
- полученные результаты скрипт сохраняет или в исходный файл, или создает новый.
- объединяет выбранные базы в одну.
Ссылка на скачивание: BaseEditor