Esos 20V son un poco bestias, debería ser algo más entre 14 y 16V. No es grave porque el máximo del 7805 y 7812 es bastante superior: unos 35V que varían según fabricante, pero tienes que tener en cuenta que los reguladores lineales como el 7805 y el 7812 funcionan convirtiendo el exceso de voltaje en calor. Por ejemplo, si el 7805 tiene que bajar esos 20V a 5V y por él circulan, p.ej. 0.2A (no sé cuánto circula por el 7805 interno del C64, así que lo digo a ojo), el exceso de voltaje es 15V y la potencia disipada será 15 * 0.2 (corriente * voltaje) = 3 W. Eso significa que tu 7805, aparte de cumplir su función reguladora de voltaje, se comporta como una pequeña estufita de 3 watios, que no parece mucho pero para un encapsulado tan pequeño sí que lo es. Tócalo a ver si quema mucho, aunque el 7805 puede aguantar temperaturas superiores a los 70º y la prueba de quemarse con el dedo tampoco es muy significativa.
De todas formas tampoco hay que ser fanático con la temperatura del 7812/05 porque en teoría tienen protección contra sobrecalentamiento (se desconectan), siempre y cuando sean de un fabricante con reputación, porque parece ser que hasta de los 78xx hay clones low cost.