Автор Тема: архивы в БД  (Прочитано 7895 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Elenka

  • Завсегдатай
  • Пользователь
  • **
  • Сообщений: 83
  • +0/-0
  • 0
    • Просмотр профиля
    • http://soccercleats.blogs.sapo.pt
архивы в БД
« : 11 Апреля 2005, 16:09:38 »
Вот в чем вопрос:
при больших объемах текстовой информации в БД, имеет ли смысл архивировать (сжимать) текст?
Какие оптимальные варианты для этих дел посоветуете?


спасибо

Оффлайн AliMamed

  • \\o/ ali akbar \\o/
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2409
  • +2/-0
  • 2
    • Просмотр профиля
    • http://alimamed.pp.ru
архивы в БД
« Ответ #1 : 11 Апреля 2005, 16:47:53 »
а по-конкретнее? о каких объемах речь? что за БД?
ну, будем исповедоваться?

Оффлайн Меняздесьдавнонет

  • новичЕк
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 5698
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #2 : 11 Апреля 2005, 16:53:29 »
нет, нет смысла.

Оффлайн Elenka

  • Завсегдатай
  • Пользователь
  • **
  • Сообщений: 83
  • +0/-0
  • 0
    • Просмотр профиля
    • http://soccercleats.blogs.sapo.pt
архивы в БД
« Ответ #3 : 11 Апреля 2005, 17:11:58 »
Цитировать
а по-конкретнее? о каких объемах речь? что за БД?

БД пока думаю, mysql или postgre, наверно лучше все же postgre...
В объемах как раз и сомневаюсь, нужно ли под них это... максимум каждое поле с текстом порядка 500Кб, всреднем 1-5Кб, но таких полей тысячи каждый день добавляются.

Оффлайн commander

  • Developer
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 1298
  • +0/-0
  • 2
    • Просмотр профиля
    • http://www.webtips.ru
архивы в БД
« Ответ #4 : 11 Апреля 2005, 17:16:14 »
Elenka
ответ уже был... - не имеет... VACUUM (если postgres) делай почаще... и всё будет OK...
And no religion too...

Оффлайн Меняздесьдавнонет

  • новичЕк
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 5698
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #5 : 11 Апреля 2005, 18:11:28 »
если данные в бд сжимать, то хранить их в бд нет смысла

Оффлайн Elenka

  • Завсегдатай
  • Пользователь
  • **
  • Сообщений: 83
  • +0/-0
  • 0
    • Просмотр профиля
    • http://soccercleats.blogs.sapo.pt
архивы в БД
« Ответ #6 : 11 Апреля 2005, 21:46:21 »
возможна ли и имеет ли смысл следующая схема: делаем архив, а на него из полей лишь ссылки в архиве ?

Оффлайн Меняздесьдавнонет

  • новичЕк
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 5698
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #7 : 11 Апреля 2005, 21:56:46 »
ЗАЧЕМ?

Оффлайн AliMamed

  • \\o/ ali akbar \\o/
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2409
  • +2/-0
  • 2
    • Просмотр профиля
    • http://alimamed.pp.ru
архивы в БД
« Ответ #8 : 11 Апреля 2005, 22:03:17 »
Цитировать
Elenka:
возможна ли и имеет ли смысл следующая схема: делаем архив, а на него из полей лишь ссылки в архиве ?

в этом случае нет смысла использовать БД, т.к. есть файловая система в принципе=)
ну, будем исповедоваться?

Оффлайн Slike

  • Заглянувший
  • Новичок
  • *
  • Сообщений: 20
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #9 : 12 Апреля 2005, 13:50:31 »
возьмем поисковую систему, Google к примеру, они хранят данные сжатыми, но при запросе робот эти сжатые данные просматривает, как такое реализовать?

Оффлайн Меняздесьдавнонет

  • новичЕк
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 5698
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #10 : 12 Апреля 2005, 13:59:29 »
Цитировать
Slike:
Google к примеру, они хранят данные сжатыми

откуда такая информация?

и, повторю вопрос - ЗАЧЕМ?

Оффлайн Green Kakadu

  • Координатор
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2757
  • +1/-0
  • 0
    • Просмотр профиля
    • http://gnezdo.webscript.ru
архивы в БД
« Ответ #11 : 12 Апреля 2005, 14:25:15 »
Цитировать
Slike:
но при запросе робот эти сжатые данные просматривает, как такое реализовать?

не хранят они сжатых данных. Там создается нечто вроде инвертированных индексов, по которым и происходит поиск
 в исканиях.

Оффлайн Slike

  • Заглянувший
  • Новичок
  • *
  • Сообщений: 20
  • +0/-0
  • 0
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #12 : 12 Апреля 2005, 21:11:24 »
Цитировать
откуда такая информация?


из первоисточника

Цитировать
не хранят они сжатых данных. Там создается нечто вроде инвертированных индексов, по которым и происходит поиск


цитата из документа:

Цитировать
The repository contains the full HTML of every web page. Each page is compressed using zlib (see RFC1950). The choice of compression technique is a tradeoff between speed and compression ratio. We chose zlib\'s speed over a significant improvement in compression offered by bzip. The compression rate of bzip was approximately 4 to 1 on the repository as compared to zlib\'s 3 to 1 compression. In the repository, the documents are stored one after the other and are prefixed by docID


http://www-db.stanford.edu/~backrub/google.html

это текст сергея брина и Лоренса Пейджа - основателей Гугла

Оффлайн Меняздесьдавнонет

  • новичЕк
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 5698
  • +0/-0
  • 2
    • Просмотр профиля
    • http://
архивы в БД
« Ответ #13 : 13 Апреля 2005, 00:15:31 »
эту страну погубят люди, которые смотрят в книгу, а видят фигу.

и где здесь написано, что при запросе робот что-то там просматривает?

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28