Обработка большого текстового файла и составление по нему отчета

  • Автор темы erosss
  • Дата начала
E

erosss

#1
Как можно реализовать отчет и на чем лучше писать . Есть текстовый файл около 700 мегабайт и количеством строк около 5 миллиона .
Данные в файле имеют вид :

login data ip traffic
---- ---- --- -----

Дело в том что один и тот же логин может встречаться несколько раз,если значения data разные .

Нужно вывести :
суммарное количество трафика по каждому пользователю и общее.
 
A

artishok

#2
хм...тут простой перебор конечно долго будет выполняться) а если данные запихнуть в БД? и там уже СУБД какой-нибудь, если использовать индексы и еще что-нибудь в этом роде, то время обработки должно сократиться. Попробуйте!=)