Проблема Многопоточность Python

[komodikus]

Всем привет. Возник вопрос.

Я для себя пишу программу которая сверяет строки на дубликаты двух файлов. и потом выводиться файл без дублей. на маленьких размерах работает неплохо. но если кидаешь тхт размером допустим 100 мб. то оно просто будет делаться год. я так понял что надо несколько потоков делать.

но как это реализовать не совсем понятно. В гугле написано сложно. Если тут есть кто может это обьяснить человеческим языком. Напишите пожалуйста в коментариях попростому )

 

[Tayler]

И без потоков нормально работать будет...

file_1 = open(input('Input Name 1 file: '),'r').readlines()
file_2 = open(input('Input Name 2 file: '),'r').readlines()

if '\n' not in file_1[-1]: file_1.append(file_1.pop()+'\n')
if '\n' not in file_2[-1]: file_2.append(file_2.pop()+'\n')

result = list(set(file_1) ^ set(file_2))
open(input('Input result file name: '),'a').write(''.join(result))

А что бы тебе помогли с потоками,то привел бы хоть кусок кода.

 

[dirtyharry]

А чем BASH не подошел?

cat file1.txt >> file2.txt | sort -u file2.txt -o file3.txt

 

[HARD_RESET]

А чем BASH не подошел?

cat file1.txt >> file2.txt | sort -u file2.txt -o file3.txt

А какова примерно будет скорость ,если 2 файла скажем так по 1гб ? Ну хоть очень примерно.