AWS och Cerebras samarbetar om snabbare AI-inferens
Molnjätten Amazon Web Services och Cerebras Systems inleder ett samarbete för att leverera vad bolagen beskriver som den snabbaste AI-inferensen för generativa AI-tillämpningar.
ANNONS
Lösningen ska lanseras på Amazon Bedrock i AWS datacenter under de kommande månaderna.
Systemet kombinerar AWS Trainium-servrar med Cerebras CS-3-system och nätverkstekniken Elastic Fabric Adapter. Genom att dela upp inferensprocessen mellan systemen ska prestanda och svarshastighet öka kraftigt för AI-applikationer. Cerebras hävdar att deras chip hanterar avkodning av AI-modeller upp till 25 gånger snabbare än Nvidias GPU:er.
