Предлагаю Вашему вниманию бесплатный скрипт “Base Editor” от разработчика в прошлом популярной спамилки Spam It kaizer Zaido.

Собственно, что умеет делать этот скрипт и чем он полезен:

• фильтрует базу ссылок оставляя уникальные урлы;
• фильтрует базу ссылок оставляя уникальные домены;
• проводит чистку базы, удаляя злокачественные переменные в query (ака sid/page/etc.);
• чистит базу от злокачественных url (тех, что вы укажете в фильтре).
• полученные результаты скрипт сохраняет или в исходный файл, или создает новый.
• объединяет выбранные базы в одну.

Ссылка на скачивание: BaseEditor