Forum Webscript.Ru
Программирование => Perl => Тема начата: fafl от 01 Ноября 2009, 04:35:10
-
народ, возникла интересная задача. Допустим получили мы через lwp содержимое страницы по адресу. Как определить основной язык страницы? (ну допустим en, ru, de...)
-
попробовать перевести ?
-
на кой мне перевод? мне нужно определение языка сайта
или я идею недопонял?
-
а как вы отделите русский от белорусского, например ?
-
хорошо, конкретизируем и уточним задачу. надо отделять en от ru
-
в русских кодировках используются символы с кодом > 128 (не считая латиницы)
-
ну и отдельные разборки с utf8
-
fafl
В общем случае я бы решал задачу через базисные словари: смотрим степень соответствия тому или иному (процент пересечения с данным словарем статьи), на основании этого делаем выводы.
Размер словаря, на мой взгляд, 7-8К будет достаточно. На выходе будем иметь нечто похожее на браузерный accept: (fr 0.7, en 0.5, ru 0.1).
Может и какой попроще способ есть, сильно не вникал.
-
fafl
Можно попробовать вместо словарей взять шингловую нарезку - конечный вычислительный объем уменьшится. Но тогда надо еще будет смотреть пересечение шингловых словарей между собой - например, у романских они будут совпадать на 30-40%, равно как и у кириллических и т.п.