Beslutet gäller från slutet av år 2026 och motiveras av nationella säkerhetsskäl.
Företag har till slutet av 2029 på sig att byta ut tekniken från de båda telekombolagen.
Tyska myndigheters genomgång av landets 5G-nät har pågått i över ett år och bland annat dragit ut på tiden till följd av olika syn i frågan bland de tre regeringspartierna.
"Dagens hotsituation understryker vikten av en säker och motståndskraftig infrastruktur för telekommunikation, särskilt med tanke på farorna med sabotage och spionage", meddelar inrikesminister Nancy Faeser.
EU-kommissionen varnade förra sommaren för att Huawei utgör en risk för EU:s säkerhet. Sverige har blockerat Huawei från att vara med i utbyggnaden av 5G-nätet. I ett större antal andra EU-länder, däribland Tyskland, används Huawei-utrustning fortfarande.