"Svenska fotbollförbundet visar inget som helst intresse för arbetarnas villkor. De verkar inte bry sig det minsta om att ytterligare ett VM ska spelas på bekostnad av tusentals döda migrantarbetare", säger Kim Söderström, Byggnads förbundsordförande, i ett pressmeddelande.
"Det som pågår i Saudiarabien är inget annat än modernt slaveri", säger Söderström.
Byggnads uppger att det internationella byggfacket BWI tillsammans med människorättsorganisationerna Amnesty och Human rights watch samlat in över 20 000 vittnesmål och enskilda fall av exploatering av migrantarbetare i landet.
Beslutet om värdskapet för VM 2034 fattas vid Fifas (Internationella fotbollsförbundet) kongress den 11 december.
Saudiarabien är enda kandidaten.