Просмотр сообщений
1
Perl / Подскажите как сделать агрегацию нетфлау потока
« : 01 Августа 2006, 23:15:26 »
Получаю данные в виде трёх перменных src_ip, dst_ip, bytes.
Их писать в БД сразу нельзя (хотя сейчас именно так) следует писать их или в массив или во временный файл, причём во время вставки новой записи нужно пробежать по старым и найти совпадающий src_ip и dst_ip если таковая запись будет то сложить значение bytes с ней после чего повторить до тех пор пока все данные с одинаковым src_ip и dst_ip не будут агрегированы.
Цикл записи в БД должен быть определён количеством поступающих данных, скажем после каждой 1000 записи и процедуры агрегации выполнять чтение временного файла и делать инсерты в БД, после чего очищать файл.
Сейчас я реализовал только сырую запись, хочется сделать красиво.
Поток небольшой, поэтому возможно использовать массив. Подскажите примерно как это должно выглядеть.
Их писать в БД сразу нельзя (хотя сейчас именно так) следует писать их или в массив или во временный файл, причём во время вставки новой записи нужно пробежать по старым и найти совпадающий src_ip и dst_ip если таковая запись будет то сложить значение bytes с ней после чего повторить до тех пор пока все данные с одинаковым src_ip и dst_ip не будут агрегированы.
Цикл записи в БД должен быть определён количеством поступающих данных, скажем после каждой 1000 записи и процедуры агрегации выполнять чтение временного файла и делать инсерты в БД, после чего очищать файл.
Сейчас я реализовал только сырую запись, хочется сделать красиво.
Поток небольшой, поэтому возможно использовать массив. Подскажите примерно как это должно выглядеть.