Проблема Error on Listen function: Insufficient memory

[bumt]

Уважаемые коллеги.
Несколько раз в день выскакивает ошибка

Error on Listen function: Insufficient memory
Listener task for port TCPIP is suspending for 20 seconds due to listen errors

Сервер перестает отвечать.
Перезапуск сервиса зависает, приходится снимать задачи Domino вручную.
Никак не могу найти – куда копать.

Заранее благодарен за в возможную помощь.

 

[savl]

Судя по всему что-то с роутером и smtp, но возможно травелер делает мозги.
Я так понял, что сервак падает уже регулярно с конца февраля.
Есть падения по нехватке памяти jvm (дампы в папке)
DAOS , tika , куча сторонних jar подключено, антиспам
javaoptions.txt используется, там еще параметры заданы.
EXTMGR_ADDINS=SSIntercept_x64_3004, InboxGenius4348_x64

Я не эксперт в поддержке почты на Domino, но думается, мне что надо сервер делить на части:
отправка/приём + антиспам
почтовые базы
травелер

Немного вырезки из nsd, может наведет на мысли.

вырезка

onitor.Last.ROUTER.Failure = 2055
Monitor.Last.ROUTER.FailureText = Router: No messages transferred to KNAUF.RU (host mail01.KNAUF.RU) via SMTP: The server is not responding. The server may be down or you may be experiencing network or VPN problems. Contact your system administrator if this problem persists.
Monitor.Last.ROUTER.Fatal = 263
Monitor.Last.ROUTER.FatalText = Router: Failed to connect to SMTP host NICOL-PACK.RU because Insufficient memory.
Monitor.Last.ROUTER.Warning(High) = 7259
Monitor.Last.ROUTER.Warning(High)Text = Router: No messages transferred to L-PAK.RU (host mx1.L-PAK.RU) via SMTP: Unexpected TCP error. See the Notes log file on this system for error code.
Monitor.Last.SCHEDULE MANAGER.Warning(High) = 13083
Monitor.Last.SCHEDULE MANAGER.Warning(High)Text = SchedMgr: Error encountered while scanning calendar database mail\eshuvalo.nsf for events: Database is being Compacted; Compact must finish before use.
Monitor.Last.Server.Failure = 259
Monitor.Last.Server.FailureText = SSRouter: Unable to open database LOCAL SpamSentinel\Scan\Scan1.box. File does not exist
Monitor.Last.Server.Fatal = 263
Monitor.Last.Server.FatalText = Error on Listen function: Insufficient memory.
Monitor.Last.Server.Warning(High) = 4415
Monitor.Last.Server.Warning(High)Text = No route found to domain klfabric.com. Check DNS configuration.
Monitor.Last.SMTP SERVER.Failure = 13267
Monitor.Last.SMTP SERVER.FailureText = SMTP Server: Listener failure: Insufficient memory.
Monitor.Last.SMTP SERVER.Fatal = 263
Monitor.Last.SMTP SERVER.FatalText = SMTP Server: Listener failure: Insufficient memory.
Monitor.Last.SMTP SERVER.Warning(High) = 13289
Monitor.Last.SMTP SERVER.Warning(High)Text = Suspending listen task for 20 seconds due to network errors
Monitor.ROUTER.Failure = 4
Monitor.ROUTER.Fatal = 23
Monitor.ROUTER.Warning(High) = 2
Traveler.Status.State.Yellow = The IDX_TS_RECORD_MAP_8 table or index has a large number (2я081) of pages allocated that are unfilled. You should perform a defrag of the NTSDB at the next restart of Traveler to reduce database space and improve performance.

Еще что-то активно пытается писать в log.nsf

Локи на бд

[3468:0144-6298] LkMgr BEGIN Long Held Lock Dump ------------------
[3468:0144-6298] Lock(Mode=SIX* LockID(DB DB=F:\Lotus\Domino\Data\log.nsf)) Waiters countNonIntentLocks = 3 countIntentLocks = 0, queuLength = 4
[3468:0144-6298] Req(Status=Granted Mode=SIX Class=PriManual Nest=0 Cnt=1 0040
[3468:0144-6298] Tran=0 Func=N/A ntupwrap.c:988 [3468:00CB-00000000000018C8])
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:196
[3468:0144-6298] nsfsem1_c:1535
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] Req(Status=Waiting Mode=SIX Class=PriManual Nest=0 Cnt=0 0040
[3468:0144-6298] Tran=0 Func=N/A ntupwrap.c:988 [3468:00C5-0000000000003B80]) Delay=2min)
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:196
[3468:0144-6298] nsfsem1_c:1535
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] Req(Status=Waiting Mode=SIX Class=PriManual Nest=0 Cnt=0 0040
[3468:0144-6298] Tran=0 Func=N/A ntupwrap.c:988 [3468:00B8-0000000000003B58]) Delay=1min)
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:196
[3468:0144-6298] nsfsem1_c:1535
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] Req(Status=Waiting Mode=SIX Class=PriManual Nest=0 Cnt=0 0040
[3468:0144-6298] Tran=0 Func=N/A ntupwrap.c:988 [3468:00E8-0000000000003B94]) Delay=1min)
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:196
[3468:0144-6298] nsfsem1_c:1535
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] Req(Status=Waiting Mode=SIX Class=PriManual Nest=0 Cnt=0 00C0
[3468:0144-6298] Tran=0 Func=N/A ntupwrap.c:988 [3468:0099-0000000000003C0C]) Delay=1min)
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:196
[3468:0144-6298] nsfsem1_c:1535
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] Req(Status=Granted Mode=S Class=PriManual Nest=1 Cnt=2 0000
[3468:0144-6298] Tran=0 Func=N/A dex\stmgr.c:298 [3468:00CB-00000000000018C8])
[3468:0144-6298] rm_lkmgr_cpp:2451
[3468:0144-6298] rm_lkmgr_cpp:1441
[3468:0144-6298] nsfsem1_c:599
[3468:0144-6298] nsfsem1_c:1656
[3468:0144-6298] nsfsem5_c:280
[3468:0144-6298] nsfsem5_c:270
[3468:0144-6298] index_ehashr6_c:5744
[3468:0144-6298] dbunid_c:758
[3468:0144-6298] ntupdate_c:2485
[3468:0144-6298] ntupdate_c:2378
[3468:0144-6298] ntupwrap_c:966
[3468:0144-6298] LkMgr END Long Held Lock Dump ------------------

 

[noned]

bumt, удалось решить проблему?​

После обновления с 8.5 на 9.0.1 стал по несколько раз в день останавливаться сервер с такой ошибкой.
Обновление до 11.0.1 проблему только усугубило...

Error on Listen function: Insufficient memory.
IMAP Server: Listener failure: Insufficient memory.
Suspending listen task for 20 seconds due to network errors

 

[lmike]

bumt, удалось решить проблему?​

После обновления с 8.5 на 9.0.1 стал по несколько раз в день останавливаться сервер с такой ошибкой.
Обновление до 11.0.1 проблему только усугубило...

Error on Listen function: Insufficient memory.
IMAP Server: Listener failure: Insufficient memory.
Suspending listen task for 20 seconds due to network errors

это совсем другое: IMAP

• возможно кто-то ломится постоянно
• сервера, с каждой версией тяжелеют (и по памяти тоже)

можно haproxy поставить ...

 

[noned]

Обновил до 11.0.1, все то же самое...
Памяти было 8, добавил до 16 - без изменений

lmike,​

Не, там проблема не только с IMAP, отваливаются все сервисы. Но порты при этом прослушиваются
POP3 Server: Listener failure: Insufficient memory.
SMTP Server: Listener failure: Insufficient memory.
Suspending listen task for 20 seconds due to network errors
HTTP Server: Open Error, unexpected error returned from NTI subsystem
Error on Listen function: Insufficient memory.
Error on Listen function: Insufficient memory.
Error on Listen function: Insufficient memory.

 

[savl]

Обновил до 11.0.1, все то же самое...

Значит дело в ВМ/ОС.
Итак:
1. Какая ось?
2. Нет ли конфликтующих процессов, которые могут порты перекрывать?
3. Используется ли IPv6?
4. Если используются transactions logs, то проверить доступ к папке с ними.
4.1. Попробовать пересоздать их: остановить сервер, переместить, запустить сервер.

 

[noned]

savl,​

1. перепробовал Win Server 2008, 2012, 2016
2. нет и в момент появления ошибок порты прослушиваются сервисами Domino
3. IPv6 нет
4. transactions logs не используется
Проблема началась после обновления с 8.5 x86 на 9.0.1 x64 и перехода на WinSrv x64. Зависимости от нагрузки сервера нет, памяти занято 20-30%. Кроме Domino на сервере ничего нет. Каких-то событий, предшествующих ошибке в логах нет. Вот кусочек лога:

10-01-2026 15:47:18 Chronos: Performing hourly full text indexing
10-01-2026 15:47:21 Chronos: Full text indexer terminating
10-01-2026 15:48:27 Closed session for *****|Databases accessed: 1 Documents read: 2 Documents written: 0 Transactions: 12
10-01-2026 15:52:49 Admin Process: Searching Administration Requests database
10-01-2026 15:55:15 Opened session for ***** (Release 8.5.3)
10-01-2026 15:55:15 Closed session for *****|Databases accessed: 1 Documents read: 0 Documents written: 0 Transactions: 3
10-01-2026 15:59:43 POP3 Server: Listener failure: Insufficient memory.
10-01-2026 15:59:43 Suspending listen task for 20 seconds due to network errors
10-01-2026 15:59:53 SMTP Server: Listener failure: Insufficient memory.
10-01-2026 15:59:53 Suspending listen task for 20 seconds due to network errors
10-01-2026 15:59:53 Error on Listen function: Insufficient memory.
10-01-2026 15:59:53 Error on Listen function: Insufficient memory.
10-01-2026 15:59:53 Error on Listen function: Insufficient memory.
10-01-2026 15:59:53 Listener task for port TCPIP is suspending for 20 seconds due to listen errors
10-01-2026 15:59:57 SMTP Server [1784:0009-0D54] Connection from [77.83.39.4] rejected for policy reasons. IP address of connecting host not found in reverse DNS lookup.
10-01-2026 16:00:03 POP3 Server: Listener failure: Insufficient memory.
10-01-2026 16:00:03 Suspending listen task for 20 seconds due to network errors
10-01-2026 16:00:13 SMTP Server: Listener failure: Insufficient memory.
10-01-2026 16:00:13 Suspending listen task for 20 seconds due to network errors
10-01-2026 16:00:13 Error on Listen function: Insufficient memory.
10-01-2026 16:00:13 Error on Listen function: Insufficient memory.
10-01-2026 16:00:13 Error on Listen function: Insufficient memory.

 

[aameno2]

Включите дамп и посмотрите, есть ли открытые базы в этот момент.
У меня было падении на длинной переписке.
Но в качестве имап/поп3 домино откровенное говно в общем то

 

[savl]

Проблема началась после обновления с 8.5 x86 на 9.0.1 x64 и перехода на WinSrv x64. Зависимости от нагрузки сервера нет, памяти занято 20-30%. Кроме Domino на сервере ничего нет. Каких-то событий, предшествующих ошибке в логах нет. Вот кусочек лога:

Ссылка скрыта от гостей

Проверьте notes.ini:

Ссылка скрыта от гостей

 

[noned]

Проверьте notes.ini:

Параметров, указанных в этих статьях, у меня в notes.ini нет.

Удалось поймать момент падения, процесс nhttp.exe грузит систему на 100%
Остановить из консоли не получается, если убить в диспетчере задач, domino падает

 

[aameno2]

nhttp.exe грузит систему

Включите дамп. Дождитесь падения и почитайте какая база открыта в этот момент

 

[noned]

aameno2​

Включите дамп. Дождитесь падения и почитайте какая база открыта в этот момент

Подскажите, пожалуйста, в каком месте дампа смотреть?
Попробовал анализировать lnd, но он не находит ошибок...

 

[aameno2]

в каком месте дампа смотреть

По nsd логу поищите, какие базы были открыты.

 

[zKsandrix]

Судя по NSD, используется 2 сторонних приложения:
1 - Бэкапер - C:\Program Files\Symantec\Backup Exec\belnapi.exe
2 - SpamSentinel for Domino + InboxGenius: EXTMGR_ADDINS=SSIntercept_x64_3004, InboxGenius4348_x64

Судя по NSD используется сервер версии 14, а вот совместимы ли указанные сторонние приложения не известно.

Я бы на вашем месте пробовал следующее:
1 - Убрать параметр EXTMGR_ADDINS. Эти библиотеки загружены в модули nserver, smtp, http, belnapi и так далее.

Вполне вероятно, что именно это и является проблемным местом. Так же я бы вообще удалил этот продукт ради проверки:

Ссылка скрыта от гостей

.

Погонять сервер без этих библиотек. Если всё, ок, то вы узнаете в чём проблема и кому писать )))

2 - Выключить бэкапер (я всё таки склоняюсь что проблема уйдёт после шага №1). Погонять сервер. Если всё ок, то проблема в нём. Далее думать в направлении его замены или другого варианта! К стати в 14 версии есть встроенное средства бэкапа!