Открытие DB во flatfile и поиск! С условиями!

[KiLLjoY aka SerZH]

--- Вопрос в том, как выбирать размер блока, который будет открываться каждый раз?
--- И если открыть файл на произвольном байте, то можно искомый адрес, допустим, разбить на две части, тогда как искать?
--- И как эти потоки запустить одновременно?

[NeoNox]

KiLLjoY aka SerZH:
Вопрос в том, как выбирать размер блока, который будет открываться каждый раз?

зная общую длинну можно разбить его хоть на сто частей.

KiLLjoY aka SerZH:
И если открыть файл на произвольном байте, то можно искомый адрес, допустим, разбить на две части, тогда как искать?

может, даже будет. писать обработчик такой ситуации.

KiLLjoY aka SerZH:
И как эти потоки запустить одновременно?

доки читать:
http://search.cpan.org/~nwclark/perl-5.8.4/ext/threads/threads.pm

[КшЫуфксрук]

> Я же сказал индекс отпадает!

А без индекса никак. 2 гига по любому будут читаться более 10 секунд. Почему тот скрипт, который обновляет файл не может перстраивать индекс?

Как именно обновляется файл - новые записи просто дописываются в конец? Тогда индекс перестраивать не нужно, нужно просто добавить в конец индекса новую позицию. А если какие-то записи удаляются из середины файла, то данная операция сама по себе занимает столько времени, что и полная перестройка индекса тут ничем не помешает.

[Mog.]

KiLLjoY aka SerZH, а эта задачка вообще то практический смысл будет иметь? Или это все из разряда чистой теории?

[KiLLjoY aka SerZH]

Читаем последний пост NeoNox\'a он оказался прав...
Практическое значение.. хм... огромнейшее, особенно с интернет, т.к. как к файлу одновременно может обратиться 2-100 и.т.д. человек!
--- Короче - потоки это сила!

[КшЫуфксрук]

Тратить 10 секунд на простейшую операцию доступа к данным по уникальному ключу (на которую и 0.1 сек. много) - что-то мне подсказывает, что это тупиковое решение и через полгода все равно придется переписывать.

[NeoNox]

КшЫуфксрук согласен.

KiLLjoY aka SerZH у тебя сервер упадет при порождении 10000 процессов.

[KiLLjoY aka SerZH]

А кто сказал, что я буду столько потоков открывать....?
Так же сервер упадёт при загрузке памяти и также если процесс будет занимать больше 10с, так что здесь нужна золотая середина!

Её поиском я и занимаюсь!

[Mog.]

>Её поиском я и занимаюсь!
Херней ты занимаешься, извини уж.
Упорядочи данные и будь счастлив.

[KiLLjoY aka SerZH]

хех... да не будет там упорядочивания данных...
Да и представь процечч сортровки...ыгыг... я бы посмотрел сколько бы этот процесс занял!

[Mog.]

KiLLjoY aka SerZH:
я бы посмотрел сколько бы этот процесс занял!

Я думаю, что не более того времени которое ты затратишь на поиски той самой золотой середины.
И все таки, чем же его редактируют, этот файл?

[КшЫуфксрук]

Да не нужно сортировать данные. Индекс должен быть отсортирован и хранить позиции записей для каждого ID.

И действительно, ты до сих пор не сообщил, кто и как редактирует этот файл и сколько времени занимает перезапись 2-гигабайтного файла.

[NeoNox]

КшЫуфксрук вероятно ничего не занимает.
open FH, ">>", \'./file\'; операция практически мгновенная на любом размере файла.

[КшЫуфксрук]

NeoNox так ведь я ранее писал, что если файл только дописывается в конец, то индекс перестраивать не нужно, а также нужно в конец индекса добавить новые указатели на новые данные - операция не менее мгновенная. А если же данные удаляются из середины файла, то перезапись файла займет столько времени, что перестройка индекса на фоне этой операции займет не так уж много времени.

В общем, пока не прозвучало ни одного аргумента, почему же ни в коем случае невозможно использовать хоть какое-нибудь примитивное подобие индекса.