Vidare skriver Jassy att AI är dyrt för kunder just nu, men att det inte kommer att vara det i framtiden. Chip bedöms kunna minska i pris med hjälp av Trainium.
"Trainium bör hjälpa till, eftersom våra nya Trainium2-chips erbjuder 30-40 procent bättre prisprestanda än de nuvarande GPU-drivna beräkningsinstanserna som är allmänt tillgängliga idag. Medan modellträning fortfarande står för en stor del av de totala AI-utgifterna, kommer inferens (som är modellernas förutsägelser eller utdata) att stå för den överväldigande majoriteten av framtida AI-kostnader eftersom kunderna tränar sina modeller regelbundet, men producerar inferenser hela tiden i storskaliga AI-applikationer".
Vidare beskrivs inferens bli en annan byggsten, tillsammans med beräkning, lagring, databas och annat.
"Vi känner ett starkt behov av att göra inferens mindre kostsamt för kunderna. Mer prisvärda chip kommer att hjälpa till. Men inferens kommer också att bli meningsfullt effektivare under de närmaste åren med förbättringar inom modelldestillation, snabbcachning, beräkningsinfrastruktur och modellarkitekturer. Att minska kostnaden per enhet inom AI kommer att frigöra AI som används så expansivt som kunderna önskar, och också leda till mer totala AI-utgifter", skriver han.
Hela brevet från Andy Jassy kan läsas på länken.
Aktuellt
SENASTE
