Nació en París el 9 de abril de 1821. Su padre, Joseph-François Baudelaire, exseminarista, antiguo preceptor, fue también profesor de dibujo, pintor y funcionario jefe del Despacho de la Cámara de los Pares. Joseph le enseñó las primeras letras. Cuando nació Charles, su padre tenía la edad de sesenta y dos años, y un hijo, Claude Alphonse, fruto de su primer matrimo-nio. Su madre, Caroline Dufaÿs, que no llegaba a los treinta años al nacer Baudelaire, era hija de emigrantes franceses a Londres durante la revolución de 1793. Enseñó inglés a su hijo.
Fue criado por la sirvienta de la familia. Se conoce muy poco sobre ella, Mariette, pero se intu-ye que debió de tener gran peso en la familia. Baudelaire la recuerda en un poema aparecido en Las flores del mal. Durante su infancia, disfrutaba jugando en los Jardines de Luxemburgo como así lo atestigua una carta amorosa que escribió a su amiga Cécile Desoër con solo ocho años, la primera conservada de su correspondencia.