Beslutet tillkännagavs efter samtal med lokala arrangörer, Internationella olympiska kommittén, Internationella paralympiska kommittén, den japanska regeringen och Tokyos styre.
Beslutet strider mot vad landets främsta medicinska rådgivare, Dr Shigeru Omi, har sagt. Under förra veckan rekommenderade han att hålla OS utan fans.
Arrangörer meddelar att mellan 3,6 och 3,7 miljoner biljetter har sålts till japanska invånare.