Si formarono il 1 agosto 1941 in seguito alla trasformazione della 5a Leichte Division, a sua volta nata il 1 febbraio 1941.
La 5a Leichte Division rappresentò l'avanguardia di quello che sarebbe divenuto il famoso Afrika Korps (DAK) di Erwin Rommel.

Parleremo quindi inizialmente della 5a Leichte Division che, dopo 5 giorni dal loro arrivo, Rommel uso' per attaccare El Agheila (marzo '41).

Il 14 settembre arrivo' la nuova 21a Divisione che furono usate in recognizione nella costa egiziana.

Partecipo' alla nuova offensiva di Rommel del maggio 1942.

Si distinse durante la battaglia di Gazala, assestando il colpo decisivo alle colonne corazzate britanniche e penetrando per prima nel perimetro difensivo di Tobruk, proseguendo poi la propria avanzata fino alle posizioni di Alam Alfa.

Alla fine di agosto del 1942, cerco di circondare il grosso delle forze corazzate britanniche, ma dopo accaniti scontri fu costretta dapprima a sospendere l'attacco, e il 3 settembre a ripiegare.

La divisione partecipò sia alla prima che alla seconda battaglia di El-Alamein.

Il 4 novembre 1942 iniizò il lungo ripiegamento, con la divisione sacrificata in retroguardia, che si fermò soltanto al confine tra Libia e Tunisia.

La 21a Divisione fu alle dipendenze della 5a Armata e tra il 30 gennaio e il 3 febbraio 1943 fu divisa in due Kamfgruppen: il Kampfgruppe Grun e il Kampfgruppe Pfeiffer; quest'ultimo a sua volta venne diviso in altri tre gruppi denominati "Nord", "Mitte" e "Sud", e fu impiegato in tutte le azioni fino alla ritirata finale dal Nord Africa:

L'ultima successo in terra africana la ebbe al Passo di Kasserine.

A maggio del 43 tutta la divisione si arrese in Tunisia (11-13 maggio).

La 21a Divisione venne riformata in Francia nel luglio del 1943, armata principalmente con carri francesi catturati e successivamente con Panzer III e IV.

Il 6 giugno1944, dopo lo Sbarco in Normandia, la divisione venne impiegata in combattimento essendo l'unica divisione corazzata presente in zona.
I loro Panzer vennero però distrutti nei primi giorni dell'invasione, ma gli uomini continuarono a distinguersi nella zona di Caen per molte settimane.

Trasferita nel sud della Francia per fronteggiare le forze Alleate sbarcate venne impegnata a Épinal, Saint-Dié-des-Vosges, Luneville, Nancy e Metz.

Nell'agosto del 1944 torno' in Germania per riorganizzarsi.

Con il crollo del fronte occidentale, la divisione si distinse in operazioni difensive nella zona della Saar e dell'Alsazia.

Nel gennaio del 1945 la 21a Divisione fu utilizzata in un attacco contro Strasburgo

In febbraio fu trasferita sul Fronte orientale, dove combatté lungo l'Oder

Nell'aprile del 45 si arrese ai russi nella zona di Cottbus.