• Познакомьтесь с пентестом веб-приложений на практике в нашем новом бесплатном курсе

    «Анализ защищенности веб-приложений»

    🔥 Записаться бесплатно!

  • CTF с учебными материалами Codeby Games

    Обучение кибербезопасности в игровой форме. Более 200 заданий по Active Directory, OSINT, PWN, Веб, Стеганографии, Реверс-инжинирингу, Форензике и Криптографии. Школа CTF с бесплатными курсами по всем категориям.

База за ночь выросла в размерах!

  • Автор темы nila
  • Дата начала
N

nila

Привет ребята!
Вчера я хотела посмотреть, каких размеров будет база. Если в ней будет 24 тыс документов.
База получилась около гига.
Сегодня смотрю база выросла в размерах сейчас оно почти 2 гига.
Никакие агенты не работали. не понятно что это с ней произошло.
каждый документ около 6 kb.

Помогите разобратся что это такое произошло! и она такая и будет теперь?
 
O

oshmianski

nila
индексы представлений посмотрите сколько весят
 
N

nila

Где это посмотреть?
Проблемма может потому что виды категаризированные.
И что она такая огромная будет?
страшо

В свойствах базы
на закладке индекс
нет size index
а вообще индексация она увеличивает размер базы?
 
O

oshmianski

Где это посмотреть?
Администратор \ Files \ Выбираете свою бд \ Справа смотрите Manage Views...
Там показано сколько весят ваши представления отдельно и разом.
Индексы представлений входят в общий рамер бд.

Проблемма может потому что виды категаризированные.
И что она такая огромная будет?
страшо
Да, чем сложнее представления (сортировки, группировки), тем больше они будут весить.
Побойтесь Бога, у меня были по 10 гигов.

В свойствах базы
на закладке индекс
нет size index
а вообще индексация она увеличивает размер базы?
Нужно различать - индекс представлений (это сам файл бд) и индекс полнотекстового поиска (это отдельные фалы).
Да, индексы представлений увеличивают размер.
В свойсвах бд Вы этой информации не найдете.
 
N

nila

нашла в администраторе purge view
это с помошью этого можно уменьшить размеры базы.
но тогда наверное виды будут открыватся очень долго....
Помогите разобраться...

да виды весят по 233 kb
и их много => от сюда выросло на 1 гиг база.
а как с этим боротся запускаю purge ему времени говорит не хватает очистить индекс.
А вот думаю, очишу индекс и вид будет долго открыватся.
или это разные вещи.
если разные , как бы их все эти виды очистить от индекса.
что б она не весела столько.
или это не возможно?

Спасибо большое
 
O

oshmianski

nila
как Вы не крутите, чтобы работать с представлениями, нужен их индекс.
они были, есть и всегда будут. они нужны для НОРМАЛЬНОЙ работы бд - индекс представлений формируется при обращении к ним. так что без них никак. и уменьшать размер бд за счет них не стоит (иначе они будут открываться в первый раз долго).
да не переживайте Вы так, у меня были бд по 100 000 доков и более, и ничего ворочалась и под Notes и под Web.
Вам не нужно ничего делать. Да, с таким количеством документов это бд будет столько весить.
оптимизация размера бд = оптимизация дизайна (в основном это касается количества представлений и их колонок).
 
N

nila

значит ничего страшного да если она у меня получится под 2 гига?
25 тыс документов
 
O

oshmianski

nila
общее количество представлений рекомендуют до 16 штук.
некоторые "молодые" разработчики стремятся заработать себе очки, удовлетворяя пользователей нужными им представлениями. это распространенное заблуждение.
я вседга отвечаю на такие вещи - "задача Лотуса = оперативная работа + возможность быстро добраться до нужной информации". Лотус не является отчетостроителем, для этого есть другие, предназначенные для этого, вещи, например технология MS OLAP и др.

значит ничего страшного да если она у меня получится под 2 гига?
25 тыс документов

с железячной точки зрения - ничего страшного, оно (железо) для это и предназначено.
с точки зрения архитектора системы, я бы задумался.
что-то у Вас там может быть избыточным.
 
O

oshmianski

nila
Бог с ним, с документом.
Сколько у Вас представлений?
 
N

nila

А индексация происходит когда? создается индекс для вида
Когда человек открывает впервый раз или как?

9 видов
 
O

oshmianski

и их много => от сюда выросло на 1 гиг база.
много - это 9? %) ох, что-то тут не так...

А индексация происходит когда? создается индекс для вида
Когда человек открывает впервый раз или как?
точно Вам не скажу. сдается мне, что для UI зависит от настроек представления. для Background, видимо, различий нет - обращение = приведение индексов в порядок.
 
N

nila

Ага я смотрю в этом списке Manage view
там примерно каждое представление 200 Mb
и пишет так
The view indexes of this db consume 1 gb of disk space, which is 82 of the entire space used by this db.
 
O

oshmianski

Ага я смотрю в этом списке Manage view
там примерно каждое представление 200 Mb
и пишет так
The view indexes of this db consume 1 gb of disk space, which is 82 of the entire space used by this db.
ох, мама моя. какие ж у вас там представления?

моя статистика (см. в комментариях)...



каюсь, общее количество представлений в этой бд 69 штук ;(

точно Вам не скажу. сдается мне, что для UI зависит от настроек представления. для Background, видимо, различий нет - обращение = приведение индексов в порядок.
+ серверный индексер работает
 
D

DNT

Вот одна из огромных баз.

Удовлетворите любопытство: почему если скопировать БД на локалку ("New copy") размер ее становится намного меньше?
Как можно оптимизировать БД на сервере?
 

Вложения

  • ________________.bmp
    251,8 КБ · Просмотры: 575
A

alb

Удовлетворите любопытство: почему если скопировать БД на локалку ("New copy") размер ее становится намного меньше?
Как можно оптимизировать БД на сервере?
при копировании индексы не копируется потому и размер меньше, но это только до первого открытия потом будет расти.
долго будет открываться.

да и для полторы миллиона документов Згб не много
 
S

Sandr

Выполняйте по-ночам задачу compact и все будет ок.
ЗЫ: А разьве индексы не отдельно от базы? Они тут, вроде бы, не причем...
 
A

alb

Индексы вида хранится в базе, А полнотекстовый индекс отдельно.
 
N

nila

ох, мама моя. какие ж у вас там представления?

да представления большие, я так понимаю за счет:?!
1. пять уровней категаризации.
2. Четыре (и больше) колонки с подсчетами тотала (average). цвет колонок.

так хотят эти заказчики(. и доков много хотят. и чтоб открывалось быстро и не весило много.



От того что не знаю как оно должно быть, поэтому интересуюсь может не так что то).
Спасибо!

и спасибо за базу знаний :)
 
N

nila

серверный индексер работает
А что такое серверный индекс?
а полнотекстовый где хранится. и его можно отключить что б он не делался?
что именно дает то, что б база и виды быстрее открывались?
Полнотекстовый индекс он для серча?

Какой индекс full или view влияет на быстрое открытие базы?

А Compact...
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!