многопоточность

Ситуация следующая: был написан скрипт на python 3 , выполняющий получение ip адреса домена по списку из файла, с помощью gevent и greenlet удалось добиться скорости в 600-800 запросов в секунду без пропусков при затратах ОЗУ ~50мб, файл был скомпилирован в exe с помощью pyinstaller, потом...

Всем привет. Возник вопрос. Я для себя пишу программу которая сверяет строки на дубликаты двух файлов. и потом выводиться файл без дублей. на маленьких размерах работает неплохо. но если кидаешь тхт размером допустим 100 мб. то оно просто будет делаться год. я так понял что надо несколько...