Сообщения

1

Базы данных / как лучше хранить такую информацию?

« : 15 Апреля 2005, 20:17:01 »

Текстовая информация, куски и формат подобные сообщениям на форуме тут. Для каждого такого куска нужен идентификатор.
Все дело в том, что их много очень, несколько миллионов уже и +десятки тысяч каждый день.
Задаюсь вопросом как лучше хранить данную информацию.
Думал уже хранить в архиве, дабы экономить пространство, но похоже это обойдется "дороже". У кого какие мысли как оптимальней распорядится?

Сервер: Red Hat 9, Postgre, intel xeon 2.4, 1гиг ram, 120Gb hdd, скрипты на перл.

спасибо:beer:

2

Perl / обращение к данным в архиве

« : 14 Апреля 2005, 23:48:25 »

NeoNox вы что-то посоветовать хотелИ ?

3

Perl / обращение к данным в архиве

« : 14 Апреля 2005, 21:42:39 »

я вот что думаю:

Compress::Zlib ;

4

Perl / обращение к данным в архиве

« : 14 Апреля 2005, 21:41:03 »

а как ?
есть у нас допустим 100 Гигов инфы, мы из архива берем нам нужную и работаем с ней.
Или лучше читать весь архив в 100гигов и взять только нужную нам 1 строчку?
А архив чтоб схимать информацию как обычно...

5

Perl / обращение к данным в архиве

« : 14 Апреля 2005, 10:36:15 »

так что вопрос остается открыт...

6

Perl / обращение к данным в архиве

« : 14 Апреля 2005, 01:37:20 »

Форум в архиве лучше не хранить

мне не нужен форум в архиве, это пример

А в описанной тобой задаче лучше создавать много мелких архивчиков. А не заморачиваться с созданием одного большого.

архив в сжатом виде!
ради примера попробуй создать 2 текстовых файла: один 500Кб(1.txt), второй 1Мб(2.txt).

Затем...ну скажем раром заархивируй...

В результате получится что-то типа:
1.rar - 10Kb
2.rar - 11Kb

то есть, если бы я создал 2 файла по 500Кб, они бы заняли 20Кб, в нашем же случае всего 11, разницу чувствуешь?

а когда дело пойдет и гигабайтах разница будет куда ощутимей

7

Perl / обращение к данным в архиве

« : 13 Апреля 2005, 23:31:52 »

Что спросить-то хотел? Не скупись на описание.

Я вот что думаю:
в БД хранить указатели на информацию в сжатом архиве...

Вот к примеру допустим данный форум:

в БД храним:
--> Topic
-id
-forum id
-title
-author
-body (указатель на ахрив сообщений)

каким модулем лучше воспользоваться для данных целей ?

спасибо

8

Perl / обращение к данным в архиве

« : 13 Апреля 2005, 20:55:20 »

существует ли способ:

1) добавлять последовательно данные в архив
2) затем по индексу выскребать нужные данные


? спасибо