• 15 апреля стартует «Курс «SQL-injection Master» ©» от команды The Codeby

    За 3 месяца вы пройдете путь от начальных навыков работы с SQL-запросами к базам данных до продвинутых техник. Научитесь находить уязвимости связанные с базами данных, и внедрять произвольный SQL-код в уязвимые приложения.

    На последнюю неделю приходится экзамен, где нужно будет показать свои навыки, взломав ряд уязвимых учебных сайтов, и добыть флаги. Успешно сдавшие экзамен получат сертификат.

    Запись на курс до 25 апреля. Получить промодоступ ...

Запрос Для Ftsearch

  • Автор темы ezhov
  • Дата начала
E

ezhov

Товарищи, возникла необходимость оптимизации работы агента, долго выполняется обновление,при анализе кода было выявлено что большая часть времени тратится на операции поиска
DocumentCollection dc = database.search( "Form =\"Person\" & met!=\"1\" & @IsUnavailable($Conflict) & TabNum= \"" + tabNum + "\"");
DocumentCollection dc = database.search( "(Form =\"Department\" | Form =\"Subdivision\") & @IsUnavailable($Conflict) & met!=\"1\"& ID= \"" + depID + "\"");
DocumentCollection dc = database.search ("(Form =\"Department\" | Form = \"Subdivision\" )& ID=\""+parentId+"\" & met!=\"1\"");

Если верить интернетам метод FTSearch работает быстрее, но вот любой из этих запросов уже не работает если его вставить в FTSearch:

DocumentCollection dc = database.FTSearch( "Form =\"Person\" & met!=\"1\" & @IsUnavailable($Conflict) & TabNum= \"" + tabNum + "\"");
DocumentCollection dc = database.FTSearch( "(Form =\"Department\" | Form =\"Subdivision\") & @IsUnavailable($Conflict) & met!=\"1\"& ID= \"" + depID + "\"");
DocumentCollection dc = database.FTSearch("(Form =\"Department\" | Form = \"Subdivision\" )& ID=\""+parentId+"\" & met!=\"1\"");

эти варианты выдают ошибку типа error message: NotesException: Notes error: Query is not understandable ((Form ="Department" Form ="Subdivision") & @IsUnavailable($Conflict) & met!="1"& ID= "1000

Подскажите как правильно написать эти запросы для метода FTSearch или может какие нибудь еще варианты есть поиска ?
 

duchan

Green Team
20.09.2006
127
11
BIT
107
У FTSearch свой язык запросов, он не понимает @функции, см.Help Дизайнера, например, "Refining a search query using operators"
 
E

ezhov

У FTSearch свой язык запросов, он не понимает @функции, см.Help Дизайнера, например, "Refining a search query using operators"

Весь Help перерыт уже, но про синтаксис ничего не могу найти. Можете подсказать как тогда переделать хотя бы запрос DocumentCollection dc = database.search ("(Form =\"Department\" | Form = \"Subdivision\" )& ID=\""+parentId+"\" & met!=\"1\"");? тут вроде только поля без @функций
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
для FTSearch попробуй:
Код:
searchQ$ = {Field Form ="Person" AND Field met !="1" AND Field TabNum = "} & tabNum & {"}
DocumentCollection dc = database.FTSearch( searchQ$, 0);
' Аналогично:
searchQ$ = {Field Form ="Department" OR Field Form = "Subdivision" AND Field met !="1" AND Field ID= "} & depID & {"}
searchQ$ = {Field Form ="Department" OR Field Form = "Subdivision" AND Field met !="1" AND Field ID= "} & parentId & {"}
Конфликты отобрать нельзя по идее, так как служебные поля могут не индексироваться, но в процессе перебора можно проверять так:
Код:
Set doc = dc.getfirstdocument
While not doc is nothing 
if not doc.hasitem("$Conflict") then
' Тут что-то делаем с документом
End if
Set doc = dc.getnextdocument(doc)
wend
 

Medevic

Что это ? :)
Green Team
10.12.2004
3 334
1
BIT
4
Не забываем, что без правки ini-файла, FTSearch вернёт только 5000 документов.
Можно создать три представления с формулами из запроса и брать документы из них.
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
ezhov
Да, Medevic прав.
На сервере надо выставить вот эту переменную: FT_Max_Search_Results
 

Kizarek86

Green Team
20.07.2007
871
7
BIT
37
Medevic, дело говорит про представления.
Сделайте представление и берите по ключу, судя по запросам у Вас как раз случай с одним ключом.

А вообще все зависит от конкретной ситуации, может вообще стоит взять сразу бОльшу коллекцию документов и работать уже с ними.

Также проверьте базу на "стабы" (инфы на форуме много).
 
E

ezhov

для FTSearch попробуй:
Код:
searchQ$ = {Field Form ="Person" AND Field met !="1" AND Field TabNum = "} & tabNum & {"}
DocumentCollection dc = database.FTSearch( searchQ$, 0);
' Аналогично:
searchQ$ = {Field Form ="Department" OR Field Form = "Subdivision" AND Field met !="1" AND Field ID= "} & depID & {"}
searchQ$ = {Field Form ="Department" OR Field Form = "Subdivision" AND Field met !="1" AND Field ID= "} & parentId & {"}
Конфликты отобрать нельзя по идее, так как служебные поля могут не индексироваться, но в процессе перебора можно проверять так:
Код:
Set doc = dc.getfirstdocument
While not doc is nothing 
if not doc.hasitem("$Conflict") then
' Тут что-то делаем с документом
End if
Set doc = dc.getnextdocument(doc)
wend

А какой тип переменной searchQ$ ? т.к. эта срока

searchQ$ = {Field Form ="Person" AND Field met !="1" AND Field TabNum = "} & tabNum & {"}
DocumentCollection dc = database.FTSearch( searchQ$, 0);

в java коде и я должен передать tabNum в качестве параметра для поиска
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
searchQ$ - строка, значок $ как идентификатор типа.
 
E

ezhov

searchQ$ - строка, значок $ как идентификатор типа.

Т.е. строка

String searchQ = "{Field Form =\"Department\" OR Field Form = \"Subdivision\" AND Field met !=\"1\" AND Field ID= \"} & "+parentId+" & {\"}";
DocumentCollection dc = database.FTSearch(searchQ,0);

Должна нормально отработать, но валится ошибка

: NotesException: Notes error: Query is not understandable ({Field Form ="Department" OR Field Form = "Subdivision" AND Field met !="1" AND Field ID= "} & 10000000 & {"})
at lotus.domino.local.Database.NFTSearch(Native Method)
at lotus.domino.local.Databrch(Unknown Source)
at lotus.domino.local.Database.FTSearch(Unknown Source)

Такой вариант String searchQ = "{Field Form =\"Department\" OR Field Form = \"Subdivision\" AND Field met !=\"1\" AND Field ID= \""+parentId+"\"}";
тоже выдает такую же ошибку
 

ToxaRat

Чёрный маг
Green Team
06.11.2007
3 332
42
BIT
0
когда ТС дойдёт до вариант, что больше 5 ФТ запросов в секунду не отрабатывается или отрабатываются с ошибкой - маякуй ;)
 
E

ezhov

когда ТС дойдёт до вариант, что больше 5 ФТ запросов в секунду не отрабатывается или отрабатываются с ошибкой - маякуй ;)

Непонял) что значит ТС и ФТ ?

Добавлено:
когда ТС дойдёт до вариант, что больше 5 ФТ запросов в секунду не отрабатывается или отрабатываются с ошибкой - маякуй ;)

Непонял) что значит ТС и ФТ ?
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
#Offtop: ТС - Топик стартер, ФТ - FTSearch
{ - это как кавычка в LS
<!--shcode--><pre><code class='java'>String searchQ = "Field Form =\"Department\" OR Field Form = \"Subdivision\" AND Field met !=\"1\" AND Field ID= \"" + parentId+ "\"";[/CODE]

Почему в сторону FT идем? Вариант с представлениями не нравится?
 

ToxaRat

Чёрный маг
Green Team
06.11.2007
3 332
42
BIT
0
#Offtop: ТС - Топик стартер, ФТ - FTSearch
{ - это как кавычка в LS
<!--shcode--><pre><code class='java'>String searchQ = "Field Form =\"Department\" OR Field Form = \"Subdivision\" AND Field met !=\"1\" AND Field ID= \"" + parentId+ "\"";[/CODE]

Почему в сторону FT идем? Вариант с представлениями не нравится?
не забываем еще что длинна FT тоже ограничена
отсюда нужно делать море оптимизаций:

Код:
String searchQ = {[Form]="Department" OR [Form]="Subdivision" AND [met]!="1" AND [ID]="} & parentId & {"}
 
E

ezhov

не забываем еще что длинна FT тоже ограничена
отсюда нужно делать море оптимизаций:

Код:
String searchQ = {[Form]="Department" OR [Form]="Subdivision" AND [met]!="1" AND [ID]="} & parentId & {"}

Сейчас вариант такой:

DocumentCollection dc = database.search ("(Form =\"Department\" | Form = \"Subdivision\" )& ID=\""+parentId+"\" & met!=\"1\"");

parentId передается как параметр для поиска, в варианте String searchQ = {[Form]="Department" OR [Form]="Subdivision" AND [met]!="1" AND [ID]="} & parentId & {"} этот параметр не передается же,получается просто строка "parentId"

Необходимо проверить какой метод будет быстрее работать, database.search или database.FTSearch
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
ezhov
FT быстрее, но капризный.
Сакраментальный смысл какой у такой конструкции?
Почему через представления нельзя? Как я понимаю parentID не меняется в коде, а передается.
 
E

ezhov

ezhov
FT быстрее, но капризный.
Сакраментальный смысл какой у такой конструкции?
Почему через представления нельзя? Как я понимаю parentID не меняется в коде, а передается.

происходит синхронизация департаментов и сотрудников, их xml берется тот самый parentID, ищется в базе лотуса и обновляется и т.д., в xmlке куча этих parentID, циклом пробегаемся по всем и для каждого делаем такой поиск,поэтому parentID в каждой итерации цикла разный, он передается в метод, в котором и вызывается поиск по базе, который нужно оптимизировать,что б быстрее искал
 

savl

Lotus Team
28.10.2011
2 597
310
BIT
177
ezhov
Через вьюху надо, получение документа по вьюхе быстрее пройдет.
Создай представление, формула отбора: Select Form="Department" | Form="Subdivision" & [met]!="1"
Первая колонка, сортированная, ключ колонки ID
В java получи NotesView из базы, ищи по вью документ по ключу parentID, через
<!--shcode--><pre><code class='java'>public Document getDocumentByKey(java.util.Vector keys)
throws NotesException[/CODE]
И никаких Search не надо.
 

ToxaRat

Чёрный маг
Green Team
06.11.2007
3 332
42
BIT
0
Необходимо проверить какой метод будет быстрее работать, database.search или database.FTSearch
быстрее их обоих будет
set col = view.GetAllDocumentbyKey...

но с другой стороны если так нужны приключения на свою Ж... то пробуйте оба ;)
 
E

ezhov

быстрее их обоих будет
set col = view.GetAllDocumentbyKey...

но с другой стороны если так нужны приключения на свою Ж... то пробуйте оба ;)

Для этого метода тоже надо же создать представление в БД? Получается быстрее всего поиск происходит не по самой таблице а по представлению ? А кто нибудь может объяснить почему так происходит?
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!