Me tiro un poco al barro. Esa "basura" puede provocarla la ROM de caracteres (U5) o alguna de las RAM. Una forma de probarlo es si los cartuchos te funcionan, si tienes prueba con uno y si funciona puede ser la Character ROM.
Y si no, también me pasó algo parecido con un C128 y el chip que fallaba era este (en el C64 es el U13):
U13 74LS257APC or A or AN but not PC (alt MOS7708) LOGIC
Blank screen, less than 38911 bytes free at startup or "garbage"
screen. Don't use NS or TI chip as replacement... it will not work.
Suerte!