Собственно, вопрос в названии. Интересует как умельцы обходят защиту АВ для того же xmrig.

 

Это нативный бинарник. Проблем с его криптом быть, в общем-то, не должно.
Если интересует техническая сторона вопроса, то читай про:
1. Формат PE
2. Способы запуска процесса из памяти
3. Антиотладку и антиэмуляцию
Учитывая, что сорцы открыты, будет так-же полезно почитать про обфускацию (строк, мьютекстов, пайпов и прочего, что может палиться).

 

2. Способы запуска процесса из памяти

Можешь подкинуть инфы и статей по этому пункту на с++ или python? Чё-то я не въехал как это...

 

Можешь подкинуть инфы и статей по этому пункту на с++ или python? Чё-то я не въехал как это...

Гуглится по запросу "Memory injection". На GitHub, опять-же, есть прилично примеров - можно глянуть, как это реализовано в том-же Meterpreter и UPX.
Также рекомендую почитать про RunPE и LoadPE.