Backup лотусовых баз с помощью экпорта/импорта в Xml

[Мыш]

Всем доброго времени суток.

Общая идея такая. В настоящее время базы бэкапятся полным копированием их на ленту. Хочется реализовать инкрементальный бэкап баз. Предположим, в 00:01 агент обходит все базы, выгружает все документы, созданные/модифицированные за прошедшие сутки, в XML (DXL). Затем эти файлы помещаются на ленту.
Ну и периодически (раз в неделю/месяц) делаем полные копии исходных баз.

Смысл - экономия лент, экономия времени, затрачиваемого на бэкап, некоторое уменьшение объема бэкапа за счет того, что бэкапим только документы (ну а зачем в бэкапе нужен, скажем, стандартный дизайн п/я?).

Собственно, вопрос - никто не пробовал таким способом бэкапить лотусовые базы? Буду благодарен за указания на возможные грабли и любую другую полезную информацию

 

[Klido]

а что там у нас с эцп и шифрованием при экспорте-импорте в xml?....
достаточно сложные документы - с внедренными вьюхами и пр. мягко говоря замучаетесь сливать-заливать в xml....
ИМХО изврат :KillMe:

 

[ToxaRat]

Мыш
достаточно просто создавать реплику тем же агентом

 

[Akupaka]

экономия лент, ... некоторое уменьшение объема бэкапа за счет того, что бэкапим только документы

не пойдетъ, документ в формате DXL занимает больше по объему, чем документ в базе.

экономия времени, затрачиваемого на бэкап

не пойдетъ, требуется дополнительное время для преобразования документа в формат DXL

думаю, что лучше создать сервер для бекапа, который будет стягивать к себе (реплицировать в одну сторону) нужные базы. в которых не будет индексов видов, т.е. они будут занимать много меньше в объеме, чем рабочие базы.
если дополнительно применять архивирование файлов баз, то можно достичь значительных успехов в экономии места.

попробуй порыть в сторону transanction logging, но не уверен, не работал с ним

 

[Мыш]

Спасибо за комментарии, продолжаем мусолить тему

а что там у нас с эцп и шифрованием при экспорте-импорте в xml?....

Чисто теоретически - мне кажется, что DXL, в целом, работает на более низком уровне, нежели обычные скриптовые функции (доступ к дизайну и ACL тому подтверждение). Т.е., проблем с обычными доками типа писем быть не должно. Навороченные базы - да, другая песня, их будем бэкапить отдельно.

достаточно просто создавать реплику тем же агентом

Так и нонче делается. Но лень регулярно бэкапить письма 10-летней давности... Ну на фига, грубо говоря?

не пойдетъ, документ в формате DXL занимает больше по объему, чем документ в базе.

Ленточная библиотека сама жмет. TAR и GZ тоже никто не отменял.

не пойдетъ, требуется дополнительное время для преобразования документа в формат DXL

Да, но это можно спокойно делать в фоне, до начала бэкапа, т.е., до копирования на ленту.

думаю, что лучше создать сервер для бекапа, который будет стягивать к себе (реплицировать в одну сторону) нужные базы.

Да, так и сделано сейчас. Объемы просто растут непрерывно, хочется оптимизировать процедуру...

 

[Akupaka]

Ленточная библиотека сама жмет. TAR и GZ тоже никто не отменял.

причем тут сжатие? КПД хранения в DXL меньше. NSF тоже отлично сжимается. так зачем тогда лишнюю инфу сжимать и хранить?

можно попробовать реализовать обрезанную по времени реплику, которую бекапить. правда, при этом сложнее восстанавливать будет. см. в параметрах репликации.

 

[Мыш]

причем тут сжатие? КПД хранения в DXL меньше. NSF тоже отлично сжимается. так зачем тогда лишнюю инфу сжимать и хранить?

можно попробовать реализовать обрезанную по времени реплику, которую бекапить. правда, при этом сложнее восстанавливать будет. см. в параметрах репликации.

Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы - считаем, что по времени мы не ограничены, ибо все можно сделать заранее, до копирования на ленту.

А вот селективную репликацию я чего-то не люблю, баюс (с)

 

[Akupaka]

селективную репликацию я чего-то не люблю, баюс

прально делаешь... раз ошибешься и п... (с) ))

Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы

вот тут я не понял, чего хотим? хотим потом отдельный DXL куда-то импортировать или хотим уменьшить объемы хранимой инфы? ))

 

[Мыш]

вот тут я не понял, чего хотим? хотим потом отдельный DXL куда-то импортировать или хотим уменьшить объемы хранимой инфы? ))

Прежде всего, хотим уменьшить:
- объем инфы, хранимой на ленте (за счет старых никому особо не нужных документов, которые хранятся в почтовых базах);
- время архивирования (понятно, что ежедневные изменения намного меньше ящика в целом. Квот на п/я у нас - увы! - нет .

Полную реплику я бэкаплю щас, но не нравится мне енто дело - у юзеров письма хранятся с 18** года , ну зачем их каждый день тащить, а? Спецсофт для лотусового бэкапа не рассматриваем, ибо денег не даст никто.

Диски под выгружаемые DXL есть, время (до бэкапа) тоже есть.

 

[Klido]

за счет старых никому особо не нужных документов

инкрементальный бекап.... как говорится - УДАЧИ в реализации на dxl :maybe:
старые письма если юзер хранит - значит оно ему надо, ибо не противоречит политике партии... и от этого не уйти...

Дык никто не мешает импортировать данные из DXL, скажем, в некие временные Лотус-базы - считаем, что по времени мы не ограничены, ибо все можно сделать заранее, до копирования на ленту.

у вас в конторе кризис? требуют обоснования существования админов лотуса? я бы расценил данный ход именно как придумывание чем занять моск

 

[VladSh]

Ссылка скрыта от гостей

вроде был ещё.

 

[Akupaka]

если вопрос стоит в основном в почтовых ящиках, то как на счет создания локальных архивов? весьма полезная фича, как по мне

 

[rinsk]

Прежде всего, хотим уменьшить:
- объем инфы, хранимой на ленте (за счет старых никому особо не нужных документов, которые хранятся в почтовых базах);
- время архивирования (понятно, что ежедневные изменения намного меньше ящика в целом. Квот на п/я у нас - увы! - нет .
Полную реплику я бэкаплю щас, но не нравится мне енто дело - у юзеров письма хранятся с 18** года , ну зачем их каждый день тащить, а? Спецсофт для лотусового бэкапа не рассматриваем, ибо денег не даст никто.
Диски под выгружаемые DXL есть, время (до бэкапа) тоже есть.

Для всего вышеперечисленного городить огород не имеет смысла. Другое дело - инкрементальный бэкап по разным схемам - например 6+1 - в течении 6 дней делается бэкап измененных документов и один раз - полный. Получаем историю за всю неделю обьемом в 1 полный бэкап+%% изменений за неделю.
По взрослому - используется промышленные системы типа Legato NetWorker и тд. со спец. агентами БД. При этом они имеют User Level интерфейс для восстановления данных за произвольный период времени. Руками через ДХЛ - будет оч. геморно и нестабильно - посмотрите папку xmlschemas fftop:

 

[Мыш]

у вас в конторе кризис? требуют обоснования существования админов лотуса? wink.gif я бы расценил данный ход именно как придумывание чем занять моск

Вроде того Денег ни на новые ленты, ни на крутой бэкапный софт не дают, а объемы все растут и растут. Начальство просит (пока просит!) "оптимизировать процесс".

Другое дело - инкрементальный бэкап по разным схемам - например 6+1 - в течении 6 дней делается бэкап измененных документов и один раз - полный. Получаем историю за всю неделю обьемом в 1 полный бэкап+%% изменений за неделю.

Я именно такую схему и имел в виду.

Руками через ДХЛ - будет оч. геморно и нестабильно - посмотрите папку xmlschemas

Ну не руками, допустим, а агентом. Понятно, что следить за ним нуна будет пристально, но это другая песня... Кстати, а что с папкой xmlschemas не так? fftop:

если вопрос стоит в основном в почтовых ящиках, то как на счет создания локальных архивов? весьма полезная фича, как по мне

Локальные архивы (в смысле, на жестких дисках юзеров) не пойдут - за ними не будет надлежащего контроля (в смысле - взял юзер и "почистил" свой диск). А вот архивы на почтовых серверах - это мысль, спасибо! Я о них не подумал, ибо исторически мне этот лотусовый механизм как-то не нравился, были с ним - давным-давно, правда - проблемы... Может, пора пересмотреть свои взгляды...

 

[Мыш]

Докладываю по сути.

1. C DXL дело, действительно, не заладилось - действительно, поперли разные ошибки при импорте документов.

2. Пока копаю в сторону C API, есть там функции любопытные из серии Archive Services...

 

[Akupaka]

1. C DXL дело, действительно, не заладилось - действительно, поперли разные ошибки при импорте документов

импорт, по-идее, желательно производить с клиента самой высокой используемой версии и при наличии всех файлов определений данных, что при нормально установленном клиенте присутствует.

 

[Мыш]

импорт, по-идее, желательно производить с клиента самой высокой используемой версии

Да, делал из-под 8.5.1... Но не пошло, разбираться особо не стал. В API, кстати, по сравнению со скриптом, есть интересные доп. параметры касательно DXL, но я решил попробовать новые технологии