Программирование > Perl

определить язык страницы

<< < (2/2)

arto:
в русских кодировках используются символы с кодом > 128 (не считая латиницы)

arto:
ну и отдельные разборки с utf8

CGVictor:
fafl
В общем случае я бы решал задачу через базисные словари: смотрим степень соответствия тому или иному (процент пересечения с данным словарем статьи), на основании этого делаем выводы.

Размер словаря, на мой взгляд, 7-8К будет достаточно. На выходе будем иметь нечто похожее на браузерный accept: (fr 0.7, en 0.5, ru 0.1).

Может и какой попроще способ есть, сильно не вникал.

CGVictor:
fafl
Можно попробовать вместо словарей взять шингловую нарезку - конечный вычислительный объем уменьшится. Но тогда надо еще будет смотреть пересечение шингловых словарей между собой - например, у романских они будут совпадать на 30-40%, равно как и у кириллических и т.п.

Навигация

[0] Главная страница сообщений

[*] Предыдущая страница