Forum Webscript.Ru

Программирование => Perl => Тема начата: koder20005 от 31 Августа 2005, 12:42:24

Название: Отсеивание повторяющих строк..
Отправлено: koder20005 от 31 Августа 2005, 12:42:24

Есть файл в несколько мб, как эфективным способом удалить повторяющиеся строки в файле?

Название: Отсеивание повторяющих строк..
Отправлено: ondr от 31 Августа 2005, 14:20:47

если проблема заключается в размере файла, то попробуй следующее:
поспользуйся модулям Sort::External, File::Sort, File::MergeSort или Sort::Merge для сортировки строк файла,
после, построчно читая файл, создавай новый, исключая повторения

ps: данный вариант изменит порядок строк. если это критично, то надо думать дальше : )

Название: Отсеивание повторяющих строк..
Отправлено: arto от 31 Августа 2005, 22:16:07

man sort
man uniq