• Курсы Академии Кодебай, стартующие в мае - июне, от команды The Codeby

    1. Цифровая криминалистика и реагирование на инциденты
    2. ОС Linux (DFIR) Старт: 16 мая
    3. Анализ фишинговых атак Старт: 16 мая Устройства для тестирования на проникновение Старт: 16 мая

    Скидки до 10%

    Полный список ближайших курсов ...

Слишком большой трафик при Dbsearch

  • Автор темы TIA
  • Дата начала
T

TIA

Выяснилось! Дело действительно в стабах. turumbay +1

Также выяснилось, что не все первоначальные данные, поступившие от клиента, были верны, что и путало. А именно:

Когда БД скопировали через файловую систему на другой сервер, время поиска стало 16 мс и трафик 198 байт.
На самом деле БД была скопирована нотусами. Соответственно, стабов в копии не было.

Пытались удалить реплику БД и создать репликацией повторно -- не помогло.
В это я тоже теперь не верю.

Был апгрейд сервера с 6ки. До апгрейда всё нормально было.
Ну естественно, дело не в апгрейде. Просто совпало. Образовалась масса конфликтных документов, которые удалили.

Кому интересны детали, привожу результаты экспериментов.
Создал в БД 30000 стабов. Трафик от сервера более 1 Мб.

(54-65 [59]) SEARCH: 187 ms. [196+1720442=1720638]

Удалил стабы. Трафик стал 198 б.

(514-858 [565]) SEARCH: 15 ms. [196+198=394]

Была ещё гипотаза, что есть зависимость от того, какие документы удалены, подходящие под критерий поиска, либо не подходящие. Не подтвердилось.

Вобщем, сие есть большая гадость. Будьте бдительны.
 
A

Akupaka

Пытались удалить реплику БД и создать репликацией повторно -- не помогло.
В это я тоже теперь не верю.
почему же? репликация от стабов не избавляет!
Мало того, при репликации все стабы реплицируются на все реплицируемые сервера, независимо от формулы репликации, доступа к документам от которых остались стабы и т.п.
Поэтому, перед удалением больших объемов документов, задумайтесь!

зы: как мерять трафик от сервера при запросе? :(
зы2: интересно, влияет ли наличие стабов на ftsearch?
 

ToxaRat

Чёрный маг
Green Team
06.11.2007
3 332
42
BIT
0
Akupaka
в настройках реплики можно указать через сколько удалять окурки, так что при создании реплики можно спокойно в последствии грохнуть в ней все окурки
а вот при создании копии акурки удаляются сразу
 
A

Akupaka

в настройках реплики можно указать через сколько удалять окурки, так что при создании реплики можно спокойно в последствии грохнуть в ней все окурки
а вот при создании копии акурки удаляются сразу
можно прыгнуть выше головы. но это частный случай.
 
T

TIA

почему же? репликация от стабов не избавляет!
Да, тут я поспешил с выводами. Но не суть.

при репликации все стабы реплицируются на все реплицируемые сервера
Конечно, иначе каждый сервер был бы обязан реплицироваться с каждым.

как мерять трафик от сервера при запросе
Проще всего включением протоколирования NRPC-вызовов. Куски его я приводил. Жирным отмечен трафик от сервера на клиент.
 
T

TIA

а не тяжело пнуть в нужную сторону?
А, вот в чём вопрос. В notes.ini клиента добавляешь

CLIENT_CLOCK=1
Logstatusbar=1
Debug_Console=1
Debug_OutFile=C:\n7rpc.log
Debug_ThreadId=1

CLIENT_CLOCK=40 покажет ещё и стеки функций, приведших к nrpc-вызову. Но тормозит жутко.
 
K

Klido

ещё на openntf.org есть адаптированный модуль NRPC Parser - красиво сразу логи разгребает...
вообще на опеннтф добра просто немерянно появляется чуть ли не каждый день...

Добавлено:
документировано в справке
в технотах и буках про производительность документировано
 
H

hosm

вообще на опеннтф добра просто немерянно появляется чуть ли не каждый день...
Ребята!
А не лень будет кому-то на досуге, если что-то стоящее/интересное появляется, создать тему и пару фраз писать обзорных, кто что смотрел-юзал, для чего надо/чем интересно/полезно, etc.?
Порой ньюкамеры спрашивают, типа где найти такой-то шаблон/посмотреть пример... Было бы полезно, имхо.
Да и я бы сама иногда глянула)
 
K

Klido

ну вроде как-бы есть тема - https://codeby.net/threads/19390.html, но подойдет ли...кстати, линки там достаточно устаревшие местами...
иногда хочется поделиться, но, боюсь, быстро замусорится.... проще мониторить сам openntf :ya_lamo:

Добавлено: OKEN
в "Общих вопросах по лотус-технологиям" можно закрепить темку вроде "Обмен исследованиями"?
 
H

hosm

TIA, мы вот замусорили твою тему(
Klido
Линки в постах периодически мониторю. Иногда правлю, но сейчас немного загружена, поэтому давно не смотрела.
Если есть предложения по замене - делитесь. Если есть предложения что-то дописать в вот такие общие темы-заголовки со ссылками - тоже пишите (мне или Morpheus, или соответствующая тема для предложений есть в FAQ).
Закрепить тему могу, кинь сюда или в личку ссылку на тему, если она на форуме есть, ибо не поняла, о какой теме речь. Если темы нет - создай. Раздел открыт всем для создания тем.
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!