• B правой части каждого сообщения есть стрелки и . Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок в правой части сообщения.

Работа с огромными базами

Raskolnikov

Green Team
30.07.2017
67
21
BIT
0
Доброго времени, хочу сделать для себя хранилище утечек паролей, почт, логинов и тд, аналог какого-нибудь weleak.info
Речь идёт о бд в несколько млрд строк, где хранить всё это добро? Брать сервак с парой тб памяти уж дороговато для личного пользования, хотелось бы узнать про более бюджетные решения. Ну и конечно было бы интересно почитать материалы по организации такой задачи, буду благодарен любым линкам по этой теме
 

f22

Codeby Academy
Gold Team
05.05.2019
1 928
226
BIT
1 697
хотелось бы узнать про более бюджетные решения
А почему вариант покупки HDD на 2Тб не рассматривается?
За 60 долларов найти можно практически везде...

бд в несколько млрд строк
Откровенно говоря, это не очень большой объём:
Excel'евский формат data model поддерживает до 2 млрд строк.
Ну а твои данные могут храниться в обычной MySQL таблице.

материалы по организации такой задачи
Так задача не ясна.
Для чего тебе нужно хранить эту базу данных?
В каком она будет виде?
Какой будет доступ к ней?
С каких устройств?
 

Raskolnikov

Green Team
30.07.2017
67
21
BIT
0
А почему вариант покупки HDD на 2Тб не рассматривается?
За 60 долларов найти можно практически везде...


Откровенно говоря, это не очень большой объём:
Excel'евский формат data model поддерживает до 2 млрд строк.
Ну а твои данные могут храниться в обычной MySQL таблице.


Так задача не ясна.
Для чего тебе нужно хранить эту базу данных?
В каком она будет виде?
Какой будет доступ к ней?
С каких устройств?
Доступ с пк, простой поиск: вписал email - получил список слитых паролей
 

f22

Codeby Academy
Gold Team
05.05.2019
1 928
226
BIT
1 697
Доступ с пк, простой поиск: вписал email - получил список слитых паролей
банальны MySQL сервер, простейшую программу на Python и будет тебе счастье.
Если доступ нужен локально, проще всего реализовать всё это, купив обычный HDD на 2 терабайта.
 

SearcherSlava

Red Team
10.06.2017
943
1 261
BIT
206
Здравы будьте, братья и сестры!

Защита БД:

Смирнов С.Н. Безопасность систем баз данных.
Скакун В.В. Защита информации в базах данных и экспертных системах.
Поляков А.М. Безопасность Oracle глазами аудитора: нападение и защита.
НОУ "Интуит" Разработка и защита баз данных в Microsoft SQL Server 2005.
Клепцов М.Я. Любимова Л.В. Миронов М.М. Анализ угроз и уязвимостей СУБД Oracle
Скрыпников С.В. Родин Г.В. Перминов Е.В. Чернышова Е.В. Безопасность систем баз данных.
Брюхомицкий Ю.А. Кобилев М.А. Обеспечение безопасности систем баз данных на примере СУБД MySQL.
Карнаухова В.А. Разработка и исследование средств построковой защиты информации на основе Oracle Label Security.
 

SearcherSlava

Red Team
10.06.2017
943
1 261
BIT
206
Здравы будьте, братья и сестры!

Защита БД:

Смирнов С.Н. Безопасность систем баз данных.
Скакун В.В. Защита информации в базах данных и экспертных системах.
Поляков А.М. Безопасность Oracle глазами аудитора: нападение и защита.
НОУ "Интуит" Разработка и защита баз данных в Microsoft SQL Server 2005.
Клепцов М.Я. Любимова Л.В. Миронов М.М. Анализ угроз и уязвимостей СУБД Oracle
Скрыпников С.В. Родин Г.В. Перминов Е.В. Чернышова Е.В. Безопасность систем баз данных.
Брюхомицкий Ю.А. Кобилев М.А. Обеспечение безопасности систем баз данных на примере СУБД MySQL.
Карнаухова В.А. Разработка и исследование средств построковой защиты информации на основе Oracle Label Security.


Покопался в закромах
В базу данных сделал взмах
Любителям учиться
Может пригодится

В базе данных Э.Ф. Кодда
Было слишком много кода
SQL дает свободу
В выражении себя
В Эксель таблицу открываем
Файлы данных извлекаем
И права обозначаем
Что зачем и что куда
Super language SQL
Кто поставил себе цель
Все бэкапы ты проверь
И открой познанью дверь

В базе данных много файлов
Ты попробуй их найти
Многомерный массив данных
Можно встретить на пути
А потом, как ни крути
Ни проехать, ни пройти…

I was bound for database
On the bright side of the moon
Where a man has no neighbours
Everybody gives him room
It′s like heaven
A little piece of heaven
It's like heaven
A little piece of heaven
On the database
On the database
Best regards from database
I′ll write you when I can
But if you never hear from me
I know you'll understand
It's like heaven
A little piece of heaven
On the database
On the database

Database as open space
Database as human race
Database as trading place
Database as market place

IT абстрактный алфавит
Содержит байт
Содержит бит
Ноль единице говорит
Что он её благодарит
За то что двери отворит
Для тех кто чудо сотворит
В мир знаний будет путь открыт

Наблюдение меняет наблюдателя
Незримою рукой Создателя
Относитесь ко всему созидательно
Смотрите и слушайте внимательно

Хаос из порядка
Порядок из хаоса
Вошёл в IT
Не надо пафоса
 

Вложения

  • БД.pdf
    290,8 КБ · Просмотры: 209
Последнее редактирование:

bayramdev

One Level
20.07.2022
8
3
BIT
0
банальны MySQL сервер, простейшую программу на Python и будет тебе счастье.
Если доступ нужен локально, проще всего реализовать всё это, купив обычный HDD на 2 терабайта.
даже питон и не нужен, накинул SQL запрос, оно тебе выкинуло результат в лицо - радуйся
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!