Ищу заинтересованных людей для разработки аналога shodan (С++/ruby/python)

  • Автор темы Автор темы sxfour
  • Дата начала Дата начала

sxfour

New member
26.02.2024
2
0
BIT
44
Всем привет, 3 месяца назад загорелся идеей сделать свой аналог shodan. Если отпустить все тонкости, то на данный момент реализовано:

- Хранение всех данных в Postgresql
- 5 машин для сканирования (smb, vnc, http)
- телеграмм бот для получения всех данных из бд (не для массового использования)


Как всё работает?

Для нахождения хостов ипользуется masscan, считывание реализовано через пайп -> далее хост направляется на обработку smb, vnc, http в зависимости от используемого скрипта.



Smb:
Хосты заносятся если найдена открытая папка, либо найдена подходящая учётная запись (логин/пароль) и после удачного соединения, отправляет в бд запись с папками и вложенными файлами, ну и логин:пароль соответственно. На данный момент найдено более 13 тысяч открытых хостов, как таковой брутфорс пока отсутствует, либо используется максимально простые пароли.

Vnc:
Аналогично самбе, заносятся только те, к кому удалось найти доступ, часто встречающиеся пароли или отсутствие его.

Http:
Заходит на хост в режиме headless делает скриншот странички и отправляет данные в бд или вариант без использования скриншотов, получает просто headers.

Так же есть машина для бд и для мониторинга всех остальных vps, на данный момент с автоматизацией некоторых скриптов, есть проблемы, частые вылеты (smb протокола)

Все workers имеют прямой доступ к главной машине с бд и при нахождении уязвимого хоста отправляют данные в postgresql

Хочу перенести все данные с postgresql в django на сайт, но думаю что такой сайт если и будет то только в onion

Все скрипты работают в режиме одного потока, это очень важно, поэтому я выставляю очень низкие скорости при сканировании 450-250пакетов в секунду, при многопоточности можно ускорить сканирования диапазонов

Ищу заинтересованных лиц
Если у вас есть понимание как всё это реализовано и вы хотите работать в команде, буду рад вам. Некоторые проблемы пока не успеваю решать.

Могу предоставить доступ к базам.

P.s
Конечно же мне было очень интересно, что же всё это из себя представляет и на старте я проверял некоторые папки. Пароли, файлы с паролями всё-тут.txt, в организациях или ИП базы 1с, личные данные, паспорта и тд. Доступы rdp, any desk пароли.

Касаемо vnc, там совсем не интересно, часто веб камеры, часто личные компы, не понимаю зачем они пробросили через статику порты , так ещё и доступ дали без пароля, беда совсем...

Http очень много хостов. Сотни тысяч при низких скоростях.
 
Привет. Хорошее начинание, но сразу подумай, как ты будешь решать такие проблемы:
- masscan для сканирования всего интернета не очень подходит, т.к. часто фолзит, если скорости высокие
- делать перескан придется постоянно, чтоб поддерживать актуальность
- твои сервера со сканером будут банить на уровне провайдеров (скорее всего, но это не точно)

Посмотри этот доклад с PHDays, ровно по твоей теме:
 
  • Нравится
Реакции: j_rider и sxfour
Привет. Хорошее начинание, но сразу подумай, как ты будешь решать такие проблемы:
- masscan для сканирования всего интернета не очень подходит, т.к. часто фолзит, если скорости высокие
- делать перескан придется постоянно, чтоб поддерживать актуальность
- твои сервера со сканером будут банить на уровне провайдеров (скорее всего, но это не точно)

Посмотри этот доклад с PHDays, ровно по твоей теме:
Привет, баны еженедельные, поэтому впс при бане пересоздается на другой адрес через api
Касаемо использования масскан, спасибо посмотрю другие варианты, но есть много нюансов, в основном упор идёт в пропускную способность и к сожалению при больших скоростях , много хостов отлетают.. пакеты теряются...

Не совсем понял слово фолзит типа падает? Да , возможно из-за него у меня машины с самба сканером отваливаются, но я предполагаю причина в утечки памяти, т к перед вылетом RAM забивается и процесс масскана killed автоматом. Ещё зависит от диапазонов, иногда работает неделями , иногда забивается за один день...
 
т к перед вылетом RAM забивается и процесс масскана killed
Может там нет утечки памяти. Может ты слишком большой диапазон адресов задаешь, а masscan настроен так, чтобы выдавать какой-нибудь лог. Получается, что память переполняется из-за данных, которые masscan использует во время работы. Попробуй выдавать небольшие диапазоны адресов, если в этом проблема.
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!