Dipende dal tuo router e da eventuali limitazioni del provider.
Per prima cosa verifica dal tuo router le impostazioni Nat o port forwarding. Poi verifica eventuali firewall.
Mentre se stai usando una VM per il tuo server, ti consiglio di impostare la rete in modalità bridge, così da fare sembrare la tua VM come un normale device nella tua rete di casa. Prendi l'indirizzo MAC della VM e vai sul router, nelle impostazioni DHCP imposta un ip per quel MAC address, riavvia la VM e prova a connetterti dal tuo PC verso l'ip che hai assegnato. Se non funziona ricontrolla i passaggi.
Quando tutto funziona vai sul router e imposta il port forwarding verso l'ip assegnato alla VM.
Fatto tutto prova a collegarti utilizzando l'ip pubblico.
L'alternativa è il buon vecchio hamachi, se esiste ancora.