Поискав нечто подобное на форуме, ничего не нашёл, посему надеюсь на эту созданную тему.
Скрипт тащит сокетом страницы с другого сервера. При получении контента - он разбивается на слова - по сути это своего рода поисковый сервер.
Но для составления уникального словаря необходимо всё привести к одному стандарту. И для этого приведения необходимо знать в какой кодировке была создана вытаскиваемая страница.
Стандартные методы, а именно: Ответ сервера по запросу HEAD, META-теги - могут не содержать ничего касательно кодировки текущей страницы.
Каким образом определить кодировку страницы.
Причём, содержимое может быть на любом языке, то есть лингвистические методы подбора частоты встречающихся символов русского или украинского языков не особо применимы, ибо работают лишь с узким набором языков.
Существует ли нечто универсальное для определения кодировки документа? Алгоритм или некий метод, запрос или что-то ещё?
