Решено Ошибка domParser.Process на больших XML-файлах

[seoman2]

Если парсю в агенте на серваке валидную (xmlvalidation.com + барузеры не ругаются) XML размером более 50 мб, то
Set domParser=session.CreateDOMParser(strm, outputStream)
domParser.Process
выдает ошибку 4602

Что делать?

 

[garrick]

Что такое 4602 не знаю, но могу предположить, что возникает "Out of memory". Обычно при разборе больших XML используют SAX парсеры, которые в отличии от DOM разбирают XML в потоке. DOM сначала грузит всё в память и строит там дерево, потом отдаёт это вам - на большой файл вполне может не хватить памяти, это часто распространённый случай. Но для начала попробуйте увеличить размер памяти для Java в notes.ini, вдруг поможет.

 

[lmike]

4602

в тырнетах говорят про таймаут по получению dtd или его невалидности

Ссылка скрыта от гостей

браузеры не показатель

 

[lmike]

увеличить размер памяти для Java

это ЛС код

 

[seoman2]

Кстати вот Ошибка: User-defined error в строке 100

 

[seoman2]

попробуйте увеличить размер памяти для Java в notes.ini, вдруг поможет

Не помогло.
Остается сделать SAX парсер.

 

[seoman2]

Во проблемка.
Хочу с помощью saxParser получить значение текста с:
<nameru>хочу этот текст</nameru>

в кнопочке есть

    Set saxParser=session.CreateSAXParser....
 On Event SAX_Characters From saxParser Call SAXCharacters ' содержимое элемента
 On Event SAX_StartElement  From saxParser Call SAXStartElement 'старт элемента

Но вот как в

Sub SAXStartElement (Source As Notessaxparser, Byval elementname As String, Attributes As NotesSaxAttributeList)
    Dim i As Integer
        If elementname="nameru" Then
....

получить сам текст?

 

[garrick]

Ну, например

Ссылка скрыта от гостей

Ссылка скрыта от гостей

тут правда всё про Java, но в общем алгоритм действий должен быть такой же.

 

[lmike]

получить сам текст?

т.к. SAX последовательно обрабатывает поток, то на появление нужного элемента/ов взводите флажок (или глобальную переменную определяете, например- currentElement=elementname) и анализируете её значение в др. калбэк:
On Event SAX_Characters From saxParser Call SAXCharacters
см. тут

Ссылка скрыта от гостей

 

[seoman2]

А если мне нужно парсить определенный элемент с xml-дерева, то надо во временные переменные все уровни дерева закидывать?

 

[lmike]

А если мне нужно парсить определенный элемент с xml-дерева, то надо во временные переменные все уровни дерева закидывать?

зачем все - просто конструируете текущую ветку (до появления end element, после него удаляете часть пути)
типа на старт: current=previous +{/}+ elementname
на завершение: current=StrLeftBack(current,{/})
ну и сравниваете с "нужным/ми" полным путем/ми элемента

 

[Shandrik]

А там точно не матершинный символ?
Имел такую же проблемку при подготовке данных для отчёта. В XML собирались поля документов. После добавления в этот список поля, заполняемого юзерами, стали попадаться ошибки - они туда нецензурные символы складывали, видимо, копипастом. Пришлось дробить дихотомией XML-ку, пока не находилась крокозябра. После её удаления из документа, функционирование восстанавливалась.

 

[seoman2]

Сделал всё на SAX. На одном серваке файл 100 мб парситься, на другом тот же файл - ошибка на saxParser.Process .
AMgr: Agent error message: SAX parser operation failed
версии у обоих 9.0.1

 

[seoman2]

Вот мой код и результаты опытов в посте 2.

Ссылка скрыта от гостей

Проблема решена. Всем спасибо!

 

[lmike]

Вот мой код и результаты опытов в посте 2.

Ссылка скрыта от гостей

Проблема решена. Всем спасибо!

и че былО

 

[seoman2]

1 - для больших файлов только SAX парсер.
2 - в notes.ini удалил все лимиты для JVM. По ходу сервак лучше знает, сколько ему надо памяти.

 

[VladSh]

Вот мой код и результаты опытов в посте 2.

Ссылка скрыта от гостей

2 - в notes.ini удалил все лимиты для JVM. По ходу сервак лучше знает, сколько ему надо памяти.

Непонятно, зачем было удалять лимиты для JVM, если код на LS?

 

[lmike]

Непонятно, зачем было удалять лимиты для JVM, если код на LS?

мало того - если удалить лимиты - они станут дефолтными (кот. часто мало для чего-то затратного по памяти), могут посыпаться агенты на java (если они были)