Автор Тема: Стоп-слова  (Прочитано 5778 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Error202

  • Бесстрашный
  • Ветеран
  • *****
  • Сообщений: 540
  • +1/-0
  • 2
    • Просмотр профиля
    • http://www.tender-plus.ru
Стоп-слова
« : 29 Апреля 2008, 16:34:47 »
Здравствйте!

Как оптимальнее всего хранить стоп-слова
и как оптимальнее всего удалять их из текста?



        our 
%stop_hash;
        
our @stop_words qw/i in a to the it have haven\'t was but is be from/;
        foreach @stop_words {$stop_hash{$_}++ };

        sub get_words {

                # теперь с поддержкой стоп-листа!

                my ( $text ) = @_;
                return map { $_ => 1 }
                       grep { !( exists $stop_hash{$_} ) }
                       map lc,
                       map { /([a-z\\-\']+)/i }
                       split /\\s+/s, $text;
        }



Это правильный подход?
« Последнее редактирование: 29 Апреля 2008, 16:41:35 от Error202 »
Космическая игрушка

Оффлайн Yaroslav

  • Фанат форума
  • Старожил
  • ****
  • Сообщений: 323
  • +0/-0
  • 0
    • Просмотр профиля
Стоп-слова
« Ответ #1 : 06 Мая 2008, 18:21:28 »
лично у меня и слова и фразы есть, поэтому
храню в файле разделенными запятыми


  open (BAN, "ban.txt");
  while () {
    $search=$text; #сохраняю оригинальный текст
    $search=~tr/A-ZА-Я/a-zа-я/;
    $_=~tr/A-ZА-Я/a-zа-я/;
    if ($search =~ /$_/i) { print "сам дурак"; }
  }
  close (BAN);
Никогда не бойся делать то, что ты не умеешь. Помни, ковчег был построен любителем. Профессионалы построили \"Титаник\".

Оффлайн Green Kakadu

  • Координатор
  • Глобальный модератор
  • Ветеран
  • *****
  • Сообщений: 2757
  • +1/-0
  • 0
    • Просмотр профиля
    • http://gnezdo.webscript.ru
Стоп-слова
« Ответ #2 : 13 Мая 2008, 00:58:28 »
вот уже готовый вариант стоп-слов
Lingua::StopWords::RU http://search.cpan.org/~creamyg/Lingua-StopWords-0.08/lib/Lingua/StopWords.pm
 в исканиях.

Оффлайн Error202

  • Бесстрашный
  • Ветеран
  • *****
  • Сообщений: 540
  • +1/-0
  • 2
    • Просмотр профиля
    • http://www.tender-plus.ru
Стоп-слова
« Ответ #3 : 14 Мая 2008, 17:55:39 »
Спасибо!
Космическая игрушка

 

Sitemap 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28