Con la retrocessione in Serie B della stagione 2003/2004 si chiude l’epoca del Perugia di Cosmi, poco prima che si chiuda definitivamente anche l’avventura legata al calcio della famiglia Gaucci.
Il Perugia alle prese con la serie cadetta è affidato al tecnico Stefano Colantuono, con l’obiettivo di risalire lo stesso anno in Serie A. Il Perugia si batte conquistando l’accesso ai play-off grazie ad un quarto posto, ma perde la finale contro il Torino.
Non è la cosa peggiore che potesse accadere. La cosa peggiore accade di li a poco, quando la giustizia sportiva esclude la società perugina dalla Serie B per problemi economici. Aderendo al cosiddetto Lodo Petrucci, rinnovando la società e cambiando la denominazione della squadra, il Perugia Calcio riesce ad iscriversi alla Serie C1. La nuova amministrazione societaria è affidata a Vincenzo Silvestrini, mentre il nuovo allenatore è Patanìa. Nel corso della stagione 2005/2006 il Perugia Calcio si mantiene costantemente nelle prime posizioni, ma neanche il cambio d’allenatore nel girone di ritorno (subentra Paolo Stringara) consente al Perugia di conquistare i play-off.
Il campionato 2006/2007 inizia con l’allenatore Corrado Benedetti, il quale viene allontanato dopo solo sei partite e sostituito da Marco Cari, che a sua volta non riesce nel tentativo di raggiungere una posizione utile per disputare i play-off. Per il secondo anno consecutivo il Perugia termina il campionato solamente al sesto posto. A ciò si aggiunge l’abbandono di Silvestrini dalla carica di presidente, dovuto alle contestazioni seguite alla decisione di far disputare il derby con la Ternana a porte chiuse. Le proteste dei tifosi e i risultati poco lusinghieri della squadra spingono Vincenzo Silvestrini alle dimissioni, sostituito dopo poco più di un mese dal fratello Pierangelo Silvestrini. Contemporaneamente la squadra viene affidata al tecnico Antonello Cuccureddu, ex giocatore della Juventus, al quale la società ha affidato il compito di riportare la serenità calcistica in una città scossa da troppe emozioni.