La sua carriera da allenatore inizia con le giovanili del Bologna con il quale vince il campionato allievi nazionali, per poi passare nella primavera del Chievo Verona. A giugno 2003 viene nominato allenatore della prima squadra della Salernitana in Serie B. Era stato assunto per guidare la squadra in Serie C, ma dopo il caso Catania il club campano venne ripescato in Serie B. Guida la Salernitana ad una tranquilla salvezza.
L'anno successivo allena il Modena e gli emiliani sfiorano i play-off.
La stagione seguente viene esonerato e sostituito da Maurizio Viscidi che colleziona subito tre sconfitte consecutive e costringe la società a tornare sui suoi passi richiamando mister Pioli che a fine stagione chiude il campionato al quinto posto, venendo eliminato nei play-off in semifinale dal Mantova.
Visti i suoi buoni risultati nel giugno 2006 divenne l'allenatore del Parma. Il suo primo anno in Serie A inizia bene, e anche in Europa non delude e raggiunge gli ottavi di finale della vecchia Coppa Uefa. Purtroppo dopo una serie di risultati negativi in campionato dovuta anche ad una crisi della stessa società, a febbraio venne esonerato e sostituito da Claudio Ranieri.
Nel 2007 passa al Grosseto neopromosso in Serie B. Dopo un avvio complicato a fine stagione arriva tredicesimo e conquista una storica permanenza in Serie B per i Toscani. Nel 2008 diventa il nuovo allenatore del Piacenza. La sua squadra in Serie B disputa un ottima annata raggiungendo una tranquilla salvezza. Nella stagione seguente venne ingaggiato dal Sassuolo e guida la squadra allo storico quarto posto e alla semifinale play-off persa contro il Torino.

Nel 2010 rescinde il contratto con il Sassuolo e firma con il Chievo Verona e a fine campionato raggiunge un undicesimo posto in Serie A, essendo la quarta miglior difesa del campionato.
L'anno seguente lascia la società di Luca Campedelli e si accorda con Maurizio Zamparini per sedersi sulla panchina del Palermo. L'esordio sulla panchina rosanero è nei preliminari di Europa League, nell’andata giocata al Renzo Barbera contro gli svizzeri del Thun. Il Palermo in base al pareggio casalingo 2-2 e il pareggio nel ritorno 1-1 venne eliminato, e solo dopo un mese alla guida della squadra fu esonerato ancora prima che il campionato iniziasse.

Con la Serie A ferma per la sosta delle nazionali, nell’ottobre 2011 viene chiamato dal Bologna per sostituire Bisoli. La formazione emiliana chiude il torneo al nono posto con 51 punti, di cui 50 ottenuti in 33 partite nella sua gestione. Dopo aver raggiunto la salvezza la stagione seguente 2012/2013, viene esonerato nel gennaio 2014 con la sua squadra in quel momento virtualmente salva ma con soli 15 punti in 18 partite disputate. A giugno 2014 diventa l'allenatore della Lazio.
Fu la sua migliore stagione da tecnico, poiché portò la Lazio nei preliminari di Champions League dopo otto stagioni, disputando anche la finale di coppa Italia, persa solamente ai supplementari 2-1 contro la Juventus. L'anno successivo inizia con la sconfitta della Lazio in supercoppa italiana sempre contro la Juventus per 2-0 e successivamente con l'eliminazione nei preliminari di Champions League contro il Bayer Leverkusen. Ad aprire 2016 dopo il derby perso per 4-1 contro la Roma viene esonerato.

Nel novembre 2016 viene comunicato da parte dell’Inter il suo ingaggio. Dopo un breve periodo di assestamento i nerazzurri si ricompattano vincendo nove partite di fila tra campionato e coppe, ma nonostante il buon rendimento la sua squadra recupera pochi punti alle concorrenti, e la rincorsa al quarto posto in un primo momento fattibile inizia a naufragare: dalla 29° alla 35° giornata totalizza solo 2 punti, e il 9 maggio 2017 la società decide per l'esonero. In 22 partite di campionato Pioli ha ottenuto 39 punti sui 66 disponibili.

Dopo aver terminato il rapporto con l'Inter, il 6 giugno 2017 firma per la Fiorentina. Chiude la sua prima stagione da tecnico dei viola ottavo. Il 9 aprile 2019, dopo la sconfitta interna per 0-1 contro il Frosinone rassegna le dimissioni, lasciando la Fiorentina al decimo posto in classifica e in semifinale di coppa Italia.

Il 9 ottobre 2019 viene nominato nuovo allenatore del Milan, in sostituzione dell'esonerato Marco Giampaolo.

Riassumendo la sua carriera possiamo vedere come il suo arrivo su una nuova panchina dia spesso i risultati sperati centrando quasi sempre gli obbiettivi richiesti. Chissà che questo non si verifichi anche ora con il Milan con la speranza per i tifosi che anche questa volta Pioli centri l'obiettivo alla sua prima stagione.
E se fosse la scelta giusta? Voi che ne pensate?