Normalmente siempre es más fácil conseguir más velocidad de carga en el frontend que en el backend, esto es debido a que el backend no se cachea por lo que toda operación realizada se debe consultar u operar contra la base de datos MySQL, pero con este truco puedes conseguir algo de agilidad en el panel de WordPress mediante el uso del plugin DB Cache Reloaded Fix.
Puedes cachear en disco las consultas realizadas a la base de datos, de modo que cuando se necesiten consultar ciertos datos estos estarán guardados en disco y no necesitarán ejecutarse las consultas en la bbdd MySQL
https://wordpress.org/plugins/db-cache-reloaded-fix/
