Соединение с SOCKS5

Всем привет. Я написал приложение, которое поддерживает SOCKS5. Для примера взял пару серверов с SOCKS5. Почему то заметил, что SOCKS5 не сразу отвечает на запросы о установлении соединения TCP. Кто может сказать почему? Через WireShark видно только запрос на установку соединения. Если повторить запрос на соединение пару раз, то возможно и пройдет. Но каждый раз ждать по 5 соединений не вариант. Мб это нормально?
Программа написана на c# и используется метод connect(IPEndPoint). Где IPEndPoint - IP и порт SOCKS5.

При этом, если пинговать просто IP сервера прокси, то все происходит замечательно.