Одной программы нет, тебе придется ставить целый 'стек' для комфортного использования, как выше уже сказано одна из самых популярных IDS это snort.
Либо самое простое решение portsentry но она просто детектит сканы портов, хотя вроде можешь повесить вроде свой хук на определенное событие.