Creepy Crawler – это простой, но мощный инструмент для сканирования сайтов, извлечения полезной информации, парсинга данных.

Укажите начальный URL-адрес и автоматически соберите URL-адреса для обхода через hrefs, robots.txt и карту сайта

Извлечение полезной разведывательной информации:
1. Электронные письма
2. Ссылки в социальных сетях
3. Поддомены
4. Файлы
5. Список ссылок для обхода сайта
6. Комментарии в формате HTML
7. IP-адреса
8. Маркетинговые теги (UA, GTM и т.д.)
9. "Интересные" находки, такие как содержимое предков фрейма и ресурсы, возвращающие содержимое в формате JSON Встроенный FireProx для автоматического создания конечных точек для каждого поддомена, изменения исходного IP-адреса и очистки в конце.
10. Поддержка HTTP / SOCKS прокси