если проблема заключается в размере файла, то попробуй следующее:
поспользуйся модулям Sort::External, File::Sort, File::MergeSort или Sort::Merge для сортировки строк файла,
после, построчно читая файл, создавай новый, исключая повторения
ps: данный вариант изменит порядок строк. если это критично, то надо думать дальше : )
