Num bar de beira de estrada Caesar Enrico Bandello (Edward G. Robinson), um assassino profissional, conversa com seu cúmplice e motorista Joe Massara (Douglas Fairbanks Jr.), após ler no jornal sobre um chefão do crime. Bandello diz para Massara que ele também será algum dia um chefão do crime e não um reles pistoleiro. Quando chegam numa cidade grande Bandello vai até o Palermo Club, onde o diretor, Sam Vettori (Stanley Fields), é também um chefão do submundo do crime. Bandello convence Sam que será bom contratá-lo e quando Sam o apresenta aos outros membros da gangue o chama de "Little Caesar". Bandello mostra seu valor e em pouco tempo se torna o nº 2 da quadrilha. Paralelamente Joe se apaixona por Olga Strassoff (Glenda Farrell), sua parceira em um número de dança numa casa noturna, The Bronze Peacock. Dançaré o que Joe realmente gosta de fazer, mas ele sabe que quando se entra em uma gangue é quase impossível sair. E, para piorar, The Bronze Peacock é administrado por Little Arnie Lorch (Maurice Black), um rival de Sam. Enquanto isso o detetive Tom Flaherty (Thomas E. Jackson) começa a pressionar a quadrilha de Sam. Após a gangue apoiar Bandello num roubo no The Bronze Peacock, contrariando Sam e Diamond Pete Montana (Ralph Ince), o czar de crime da cidade, Bandello assume a chefia da gangue. Pete dissera para Sam e outros chefes para não exagerarem na violência, pois McClure, o comissário anti-crime, está de olho. Entretanto Bandello e a quadrilha roubam The Bronze Peacock e ele mata McClure, gerando conseqüências imprevisíveis.
