Sinceramente non lo so, che cosa intendi con processore custom, un processore con architettura da te personalizzata, un processore del tutto progettato da te, ovviamente a livello di set di istruzioni?
E se volessi questo, come credi di poterlo programmare se non utilizzando direttamente la codifica delle istruzioni del processore, caricando quest'ultime in memoria, non esiste nessun assemblatore, ovviamente, per la tua architettura, di conseguenza dovresti scrivere un tuo assemblatore, che traduca le istruzioni in Assembly nelle corrispettive istruzioni in linguaggio macchina corrispettive al tuo set istruzioni.