определить язык страницы

[fafl]

народ, возникла интересная задача. Допустим получили мы через lwp содержимое страницы по адресу. Как определить основной язык страницы? (ну допустим en, ru, de...)

[arto]

попробовать перевести ?

[fafl]

на кой мне перевод? мне нужно определение языка сайта
или я идею недопонял?

[arto]

а как вы отделите русский от белорусского, например ?

[fafl]

хорошо, конкретизируем и уточним задачу. надо отделять en от ru

[arto]

в русских кодировках используются символы с кодом > 128 (не считая латиницы)

[arto]

ну и отдельные разборки с utf8

[CGVictor]

fafl
В общем случае я бы решал задачу через базисные словари: смотрим степень соответствия тому или иному (процент пересечения с данным словарем статьи), на основании этого делаем выводы.

Размер словаря, на мой взгляд, 7-8К будет достаточно. На выходе будем иметь нечто похожее на браузерный accept: (fr 0.7, en 0.5, ru 0.1).

Может и какой попроще способ есть, сильно не вникал.

[CGVictor]

fafl
Можно попробовать вместо словарей взять шингловую нарезку - конечный вычислительный объем уменьшится. Но тогда надо еще будет смотреть пересечение шингловых словарей между собой - например, у романских они будут совпадать на 30-40%, равно как и у кириллических и т.п.