Det beskrivs vara oklart vem som ersätter Kwarteng. Uppgifterna om att Kwarteng kan få gå kommenteras inte av regeringen.
Liz Truss kommer senare i dag att meddela förändringar i minibudgeten, som legat bakom turbulensen på marknaderna den senaste tiden.
Kwarteng utsågs till finansminister i början av september.