Backup лотусовых баз с помощью экпорта/импорта в Xml

Мыш

Премиум
12.02.2008
1 092
10
#1
Всем доброго времени суток.

Общая идея такая. В настоящее время базы бэкапятся полным копированием их на ленту. Хочется реализовать инкрементальный бэкап баз. Предположим, в 00:01 агент обходит все базы, выгружает все документы, созданные/модифицированные за прошедшие сутки, в XML (DXL). Затем эти файлы помещаются на ленту.
Ну и периодически (раз в неделю/месяц) делаем полные копии исходных баз.

Смысл - экономия лент, экономия времени, затрачиваемого на бэкап, некоторое уменьшение объема бэкапа за счет того, что бэкапим только документы (ну а зачем в бэкапе нужен, скажем, стандартный дизайн п/я?).

Собственно, вопрос - никто не пробовал таким способом бэкапить лотусовые базы? Буду благодарен за указания на возможные грабли и любую другую полезную информацию :)
 
K

Klido

#2
а что там у нас с эцп и шифрованием при экспорте-импорте в xml?....
достаточно сложные документы - с внедренными вьюхами и пр. мягко говоря замучаетесь сливать-заливать в xml....
ИМХО изврат :KillMe:
 

ToxaRat

Чёрный маг
Lotus team
06.11.2007
3 231
17
#3
Мыш
достаточно просто создавать реплику тем же агентом
 

Akupaka

А че я?.. О.о
04.10.2007
3 360
1
#4
экономия лент, ... некоторое уменьшение объема бэкапа за счет того, что бэкапим только документы
не пойдетъ, документ в формате DXL занимает больше по объему, чем документ в базе.

экономия времени, затрачиваемого на бэкап
не пойдетъ, требуется дополнительное время для преобразования документа в формат DXL

думаю, что лучше создать сервер для бекапа, который будет стягивать к себе (реплицировать в одну сторону) нужные базы. в которых не будет индексов видов, т.е. они будут занимать много меньше в объеме, чем рабочие базы.
если дополнительно применять архивирование файлов баз, то можно достичь значительных успехов в экономии места.

попробуй порыть в сторону transanction logging, но не уверен, не работал с ним
 

Мыш

Премиум
12.02.2008
1 092
10
#5
Спасибо за комментарии, продолжаем мусолить тему :)

а что там у нас с эцп и шифрованием при экспорте-импорте в xml?....
Чисто теоретически - мне кажется, что DXL, в целом, работает на более низком уровне, нежели обычные скриптовые функции (доступ к дизайну и ACL тому подтверждение). Т.е., проблем с обычными доками типа писем быть не должно. Навороченные базы - да, другая песня, их будем бэкапить отдельно.

достаточно просто создавать реплику тем же агентом
Так и нонче делается. Но лень регулярно бэкапить письма 10-летней давности... Ну на фига, грубо говоря? :)

не пойдетъ, документ в формате DXL занимает больше по объему, чем документ в базе.
Ленточная библиотека сама жмет. TAR и GZ тоже никто не отменял. :)

не пойдетъ, требуется дополнительное время для преобразования документа в формат DXL
Да, но это можно спокойно делать в фоне, до начала бэкапа, т.е., до копирования на ленту.

думаю, что лучше создать сервер для бекапа, который будет стягивать к себе (реплицировать в одну сторону) нужные базы.
Да, так и сделано сейчас. Объемы просто растут непрерывно, хочется оптимизировать процедуру...
 

Akupaka

А че я?.. О.о
04.10.2007
3 360
1
#6
Ленточная библиотека сама жмет. TAR и GZ тоже никто не отменял. :)
причем тут сжатие? КПД хранения в DXL меньше. NSF тоже отлично сжимается. так зачем тогда лишнюю инфу сжимать и хранить?

можно попробовать реализовать обрезанную по времени реплику, которую бекапить. правда, при этом сложнее восстанавливать будет. см. в параметрах репликации.
 

Мыш

Премиум
12.02.2008
1 092
10
#7
причем тут сжатие? КПД хранения в DXL меньше. NSF тоже отлично сжимается. так зачем тогда лишнюю инфу сжимать и хранить?

можно попробовать реализовать обрезанную по времени реплику, которую бекапить. правда, при этом сложнее восстанавливать будет. см. в параметрах репликации.
Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы - считаем, что по времени мы не ограничены, ибо все можно сделать заранее, до копирования на ленту.

А вот селективную репликацию я чего-то не люблю, баюс (с) :)
 

Akupaka

А че я?.. О.о
04.10.2007
3 360
1
#8
селективную репликацию я чего-то не люблю, баюс
прально делаешь... раз ошибешься и п... (с) ))

Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы
вот тут я не понял, чего хотим? хотим потом отдельный DXL куда-то импортировать или хотим уменьшить объемы хранимой инфы? ))
 

Мыш

Премиум
12.02.2008
1 092
10
#9
вот тут я не понял, чего хотим? хотим потом отдельный DXL куда-то импортировать или хотим уменьшить объемы хранимой инфы? ))
Прежде всего, хотим уменьшить:
- объем инфы, хранимой на ленте (за счет старых никому особо не нужных документов, которые хранятся в почтовых базах);
- время архивирования (понятно, что ежедневные изменения намного меньше ящика в целом. Квот на п/я у нас - увы! - нет :).

Полную реплику я бэкаплю щас, но не нравится мне енто дело - у юзеров письма хранятся с 18** года :) , ну зачем их каждый день тащить, а? Спецсофт для лотусового бэкапа не рассматриваем, ибо денег не даст никто. :)

Диски под выгружаемые DXL есть, время (до бэкапа) тоже есть.
 
K

Klido

#10
за счет старых никому особо не нужных документов
инкрементальный бекап.... как говорится - УДАЧИ в реализации на dxl :maybe:
старые письма если юзер хранит - значит оно ему надо, ибо не противоречит политике партии... и от этого не уйти...

Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы - считаем, что по времени мы не ограничены, ибо все можно сделать заранее, до копирования на ленту.
у вас в конторе кризис? требуют обоснования существования админов лотуса? ;) я бы расценил данный ход именно как придумывание чем занять моск :)
 

Akupaka

А че я?.. О.о
04.10.2007
3 360
1
#12
если вопрос стоит в основном в почтовых ящиках, то как на счет создания локальных архивов? весьма полезная фича, как по мне
 

rinsk

Lotus team
12.11.2009
900
44
#13
Прежде всего, хотим уменьшить:
- объем инфы, хранимой на ленте (за счет старых никому особо не нужных документов, которые хранятся в почтовых базах);
- время архивирования (понятно, что ежедневные изменения намного меньше ящика в целом. Квот на п/я у нас - увы! - нет :).
Полную реплику я бэкаплю щас, но не нравится мне енто дело - у юзеров письма хранятся с 18** года :) , ну зачем их каждый день тащить, а? Спецсофт для лотусового бэкапа не рассматриваем, ибо денег не даст никто. :)
Диски под выгружаемые DXL есть, время (до бэкапа) тоже есть.
Для всего вышеперечисленного городить огород не имеет смысла. Другое дело - инкрементальный бэкап по разным схемам - например 6+1 - в течении 6 дней делается бэкап измененных документов и один раз - полный. Получаем историю за всю неделю обьемом в 1 полный бэкап+%% изменений за неделю.
По взрослому - используется промышленные системы типа Legato NetWorker и тд. со спец. агентами БД. При этом они имеют User Level интерфейс для восстановления данных за произвольный период времени. Руками через ДХЛ - будет оч. геморно и нестабильно - посмотрите папку xmlschemas :eek:fftop:
 

Мыш

Премиум
12.02.2008
1 092
10
#14
у вас в конторе кризис? требуют обоснования существования админов лотуса? wink.gif я бы расценил данный ход именно как придумывание чем занять моск
Вроде того :) Денег ни на новые ленты, ни на крутой бэкапный софт не дают, а объемы все растут и растут. Начальство просит (пока просит!) "оптимизировать процесс".

Другое дело - инкрементальный бэкап по разным схемам - например 6+1 - в течении 6 дней делается бэкап измененных документов и один раз - полный. Получаем историю за всю неделю обьемом в 1 полный бэкап+%% изменений за неделю.
Я именно такую схему и имел в виду.

Руками через ДХЛ - будет оч. геморно и нестабильно - посмотрите папку xmlschemas
Ну не руками, допустим, а агентом. Понятно, что следить за ним нуна будет пристально, но это другая песня... Кстати, а что с папкой xmlschemas не так? :eek:fftop:


если вопрос стоит в основном в почтовых ящиках, то как на счет создания локальных архивов? весьма полезная фича, как по мне
Локальные архивы (в смысле, на жестких дисках юзеров) не пойдут - за ними не будет надлежащего контроля (в смысле - взял юзер и "почистил" свой диск). А вот архивы на почтовых серверах - это мысль, спасибо! Я о них не подумал, ибо исторически мне этот лотусовый механизм как-то не нравился, были с ним - давным-давно, правда - проблемы... Может, пора пересмотреть свои взгляды... :)
 

Мыш

Премиум
12.02.2008
1 092
10
#15
Докладываю по сути.

1. C DXL дело, действительно, не заладилось - действительно, поперли разные ошибки при импорте документов.

2. Пока копаю в сторону C API, есть там функции любопытные из серии Archive Services...
 

Akupaka

А че я?.. О.о
04.10.2007
3 360
1
#16
1. C DXL дело, действительно, не заладилось - действительно, поперли разные ошибки при импорте документов
импорт, по-идее, желательно производить с клиента самой высокой используемой версии и при наличии всех файлов определений данных, что при нормально установленном клиенте присутствует.
 

Мыш

Премиум
12.02.2008
1 092
10
#17
импорт, по-идее, желательно производить с клиента самой высокой используемой версии
Да, делал из-под 8.5.1... Но не пошло, разбираться особо не стал. В API, кстати, по сравнению со скриптом, есть интересные доп. параметры касательно DXL, но я решил попробовать новые технологии :)