Ciao,
gli encoders di metasploit non servono assolutamente a nascondere una backdoor generata, ma servono a translare in piu' formati il payload, in modo da poterlo usare in varie modalita', secondo quale e' il tuo obiettivo.
Naturalmente l encoding viene usata nella maggior parte per encodare il payload risultante in hexadecimal o linguaggio C, e poterlo poi nascondere all interno di un proprio programma [ad esempio in C sarebbe utile per tentare overflows], o ad un eseguibile che caricando il payload encodato, lo avviera'.
Puoi leggere meglio sulla guida ufficiale di MSF:
https://www.offensive-security.com/metasploit-unleashed/msfencode/ [msfencode attualmente e' obsoleto, ma msfvenom se non sbaglio lo integra, quindi non dovresti avere probemi nella sua comprensione, ache perche' seguono la stessa linea di pensiero].
Per rendere un malware/backdoor FUD [Fully UnDeteclable], bisogna adottare varie tecniche, che possono variare in base all AV utilizzato, all analisi che quest' ultimo compie sul file, e piccoli accorgimenti che fanno la differenza.Inoltre un crypter con runpe integrato [dunque che funga da stub per rilasciare in memoria il payload], spesso si rivela essere molto utile.
Le tecniche sono descritte in questa discussione assieme alle differenze tra le verie analisi [studia l avversario e saprai come batterlo
]:
https://www.inforge.net/forum/threads/camuffare-un-virus-rat-backdoor.496535/#post-4793048 .
Oltre a questo, per capire come creare un binder, piuttosto che un crypter od uno stub, secondo me la cosa migliore e' cercarne il codice: su github ce ne sono molti di sample "accademici" [da studio], che possono comunque darti una bella mano a comprenderne il funzionamento e come scriverli.