Просмотр сообщений

В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.


Сообщения - Uzver

Страницы: 1 2 [3] 4
31
Базы данных / MySql + Php компрессия данных
« : 10 Февраля 2006, 20:36:42 »
Драсте вам.
Вопрос в следующем, есть база MySQL, большая база, порядка 130 GB, доступ к ней осуществляется средствами php (не суть важно). Вопрос, существуют ли методы компрессии информации в базах MySQL? Реализация желательна на уровне самой MySQL. Как от этого изменится скорость работы с базой, нагрузка на железо? Может имеет смысл при таких объемах сменить базу данных? Например на оракакел или Лотус? Какие методы компрессии данных есть в них?

Буду признателен за любые мысли.

32
Веб-технологии / алгоритмы поискового робота
« : 10 Февраля 2006, 19:08:57 »
Усем драсте.
Есть большое желание сделать что-то вроде поискового сервера. Не гуглю конечьно, просто в пику нехорошим ребятам из bigmir.net и meta.ua. Уж больно не качественно они работают, а альтернативы им при поиске исключительно по Украине нет как таковой. Уточню сразу, что поисковый сервер будет ориентирован исключительно на Украину, не на мир.

Из имеющихся на сегодняшний день ресурсов, выделенный сервер, с трафиком анлиметед подключенный к оптоволокну (не смейтесь пожалуйста, для Украины, если вы не провайдер и не финансовый монстр это очень критичный момент). Есть общая теория работы поискового механизма, думаю что ничего нового здесь изобретено не было поэтому освещать этот момент не буду.

Первоначальная реализация планируется на php. Почему именно php? Ближайшая цель это создать рабочий прототип в котором будет реализован алгоритм работы, и который докажет работоспособность оного. Тогда уже можно будет перейти к реализации сервера на других платформах и увеличении технической базы. Оговорюсь сразу, это частный проект, он поддерживается и финансируется из собственного кармана без привлечения внешних инвестиций.

А теперь собственно сам вопрос:
Как лучше организовать обход страниц для последующего их внесения в индексную базу. Как лучше учитывать вес страницы, ее релевантность, количество ссылок на нее, вес ресурса которому принадлежит страница и т.д. и т.п.

Если кто-то уже сталкивался, или имеет теоретическую базу, или просто мысли, делитесь, не стесняйтесь, родина вас не забудет:-). Если есть вопросы, спрашивайте, уточняйте, буду стараться отвечать. Если у кого то есть предложения, иле желание поучаствовать в проекте, также милости просим, в общем буду крайне признателен за любую информацию, даже за ссылку на толковый ман :-).

33
Веб-технологии / Кто знает - чем чаще всего расчитываются клиенты в Интернет-магазинах
« : 01 Февраля 2006, 15:08:07 »
как пользователь цветочьных инет магазинов отвечаю, либо кредитка, либо наличька (один курьер доставляет, второй получает оплату, но такое практикуют только для постоянных клиентов)

34
Базы данных / INTERSECT SELECT ???
« : 16 Ноября 2004, 13:34:25 »
например?

35
Базы данных / INTERSECT SELECT ???
« : 16 Ноября 2004, 13:21:14 »
чтобы выбрать все возможные сочетания

36
Базы данных / INTERSECT SELECT ???
« : 16 Ноября 2004, 11:20:49 »
Забыл еще одну немаловажную деталь. Поскольку поиск работает в двух режимах «точный поиск» - поиск на точное соответствие заданных поисковых терминов и «приближенный поиск» - поиск по всем возможным «словоформам» от каждого из заданных терминов. В первом случае все как раз и ограничивается одним единственным запросом описанным ранее, а вот во втором случае количество запросов возрастает на количество всех возможных «словоформ» для каждого из заданных терминов с последующим сведением результатов. Вот именно в этом случае и кроется «бутылочное горлышко» алгоритма.

37
Базы данных / INTERSECT SELECT ???
« : 16 Ноября 2004, 10:36:18 »
В общих чертах все выглядит следующим образом. Есть таблица, структуру привожу ниже, в которой хранится соответствие некого количества документов на вхождении некоторых терминов а также количество вхождения терминов в документ. Это таблица обратных индексов используемая для организации поиска по сайту.

Задача, необходимо за один запрос, по возможности конечно, выбрать из данной базы все записи соответствующие условию вхождения всех заданных для поиска терминов в документ (именно всех а не их части) с одновременной сортировкой по  количеству вхождений.

В настоящий момент задача решается следующим образом, выборка из базы производиться запросом «SELECT id_page FROM TermInDoc WHERE id_word=\'…\' OR id_word=\'…\' OR id_word=\'…\' ORDER BY id_page» с перебором всех заданных для поиска терминов. Затем результат сваливается в массив по которому уже и производится сортировка на соттветсвие и сортировка по реливалентности. Такая схема достаточно сносно работает для небольших сайтов, но вот для крупных, портальных систем она начинает захлебываться, точнее отнимать слишком много ресурсов. Пока сайт еще не дорос до отдельного сервера, поэтому возникла необходимость максимально оптимизировать структуру поискового алгоритма. Да и в случае с выделенным сервером лучше чтобы задача выполнялась максимально быстро при минимальных затратах ресурсов.


CREATE TABLE `TermInDoc` (
  `id` int(11) NOT NULL auto_increment,
  `id_word` int(11) NOT NULL default \'0\',
  `id_page` int(11) NOT NULL default \'0\',
  `amount` int(11) NOT NULL default \'0\'
  PRIMARY KEY  (`id`)
) TYPE=MyISAM;

38
Базы данных / INTERSECT SELECT ???
« : 15 Ноября 2004, 17:38:56 »
Проблема в том, UNION реализован только для версии MySQL 4.0.0 и выше, ради одного клинта провайдер не будет менять текущую весрию MySQL

Спасибо, но этот вариант не подходит.

39
Базы данных / INTERSECT SELECT ???
« : 15 Ноября 2004, 17:16:20 »
Вопрос, можно ли в MySQL организовать конструкцию типа: “INTERSECT SELECT”. Если у кого-то есть опыт построения подобных запросов в MySQL , или предположения буду признателен за любой совет.

40
PHP / проблемы с ImageCreateTrueColor
« : 17 Августа 2004, 18:00:49 »
потому что я пытаюсь понять то, что мне непонятно и интересно, и ни кому не навязываю свою точку зрения и свои условия

41
PHP / проблемы с ImageCreateTrueColor
« : 17 Августа 2004, 17:14:44 »
и сам код скрипта, пример можно сказать хрестоматийный...

      foreach ($_REQUEST as $key=>$value) {
              $$key=$value;
      }//foreach

     function LoadJpeg($imgname) {
               $im = @imagecreatefromjpeg ($imgname);
               if (!isset($im)) {
                   $im  = imagecreate (150, 30);
                   $bgc = imagecolorallocate ($im, 255, 255, 255);
                   $tc  = imagecolorallocate ($im, 0, 0, 0);
                   imagefilledrectangle ($im, 0, 0, 150, 30, $bgc);
                   imagestring ($im, 1, 5, 5, "Error loading $imgname", $tc);
               }
               return $im;
     }//function

     $max_width = $w;
     $max_height = $h;

      $size = GetImageSize($image);
      $width = $size[0];
      $height = $size[1];

      $x_ratio = $max_width / $width;
      $y_ratio = $max_height / $height;

      if (($width <= $max_width) && ($height <= $max_height) ) {
          $tn_width = $width;
          $tn_height = $height;
      }
      elseif (($x_ratio * $height) < $max_height) {
          $tn_height = ceil($x_ratio * $height);
          $tn_width = $max_width;
      }
      else {
          $tn_width = ceil($y_ratio * $width);
          $tn_height = $max_height;
      }

      $src = LoadJpeg($image);

      $dst = ImageCreateTrueColor($tn_width,$tn_height);
      ImageCopyResized($dst, $src, 0, 0, 0, 0,$tn_width,$tn_height,$width,$height);
     header("Content-type: image/jpeg");
     ImageJpeg($dst, null, -1);
     ImageDestroy($src);
     ImageDestroy($dst);
?>

42
PHP / проблемы с ImageCreateTrueColor
« : 17 Августа 2004, 16:29:39 »
В наличии имеется небольшой скрипт, назначение которого пропорциональное изменение размеров картинки. Проблема заключается в следующем: в случае, когда размер оригинальной картинки превышает размер картинки получаемой на выходе более чем в полтора раза по правому и нижнему краям у выходной картинки появляются черные полосы. При чем данный «глюк» проявляется на различных серверах в соотношении где-то 60/40. Пробовал привязать его возникновение к настройкам апача, ничего не вышло. Если кто-то сталкивался с проблемой, или знает как ее решить, буду признателен за помощь.

43
PHP / авторизация пользователя через PHP-сессий
« : 02 Апреля 2004, 19:51:24 »
Видимо Вы максимникогда самине выстунали в роли заказчика :-), ему не надо показывать где и что он видел, ему надо сказать что он хочет.

44
PHP / авторизация пользователя через PHP-сессий
« : 02 Апреля 2004, 19:29:23 »
ссілки єто конечно хорошо, но не показівать же ее заказчику если он хочет себе такую финтифлюшки и считает что она необходима ему как воздух?

P.S. для любителей кидать ссылочки и критиковать, не засоряйте топик плиз, думаю что тема будет интересна многим, а читать мусор нет ни времени ни желания...

45
PHP / авторизация пользователя через PHP-сессий
« : 02 Апреля 2004, 19:23:34 »
да ну?
бональный пример, регишся на данном форуме и открываеш рядышком еще одно окно
о результатах можно отписаться здесь же :-)

Страницы: 1 2 [3] 4