Küçük Sezar, yükselmek isteyen bir gangsterin şehirde güç kazanma ve ayakta kalma mücadelesini anlatıyor. Rico Bandello, küçük işlerden başlayıp Chicago sokaklarında adını duyurmaya çalışır. Önce yeraltı dünyasında yer edinir, sonra daha büyük işler ve daha fazla pay ister. Joe Massara ise dansçı olma hayali kurar, ama Rico’nun çevresindeki suç düzeni onu da içine çeker. Douglas Fairbanks Jr.’un oynadığı Joe Massara, bu sert ortamda kendi yolunu bulmaya çalışır. Edward G. Robinson’un oynadığı Caesar Enrico Rico Bandello, rakiplerini birer birer saf dışı bırakmak için baskıyı artırır. Olga Stassoff ve Tony Passa, onun çevresinde dönen hesapların içinde kalır. Big Boy ile girişilen çekişme, Rico’nun yükselişini daha da tehlikeli hale getirir.