No hay un manual con los comandos AT que soporta?
Mientras tanto por lo que veo ahi, puedes probar abriendo la terminal que usas, e ingresando el comando:
at$sb=57600
Cuando hagas eso, la terminal va a dejar de responder porque el modem se va a configurar a 57600 bps, pero no vas a grabar la configuracion, asi que para volver a la velocidad que usabas basta con apagar y volver a encender el C64.
Como decia, ingresas at$sb=57600 en la terminal que uses, striketerm, novaterm, ccgms2017, y luego sales de la terminal, sin apagar el C64 para conservar esa configuracion en el modem, luego abres retroterm, y si al escribir algo aparece en pantalla, significa que tu modem es compatible.