Este cache lo crea PackageKit cuando va actualizando la versión Fedora instalada.
Para limpiar la cache he usado el comando:
su - pkcon refresh force
Esto limpia la cache. Ha pasado de casi 2.9 GB a tan solo 206 MB.
Se puede evitar que se cree cache actualizando con dnf update
Si se quiere que PackageKit no cree cache, se puede editar el archivo de configuracion de PackageKit en /etc/PackageKit/PackageKit.conf y eliminar el comentario de la linea #KeepCache=false