Ella Baker nació el 13 de diciembre de 1903 en Norfolk, Virginia. Baker desarrolló su sentido de la justicia social desde muy temprano. Cuando era niña y crecía en Carolina del Norte, Baker escuchaba a su abuela contar historias sobre revueltas de esclavos. Como esclava, su abuela había sido azotada por negarse a casarse con un hombre elegido para ella por el dueño de la esclava.
Baker estudió en la Universidad de Shaw en Raleigh, Carolina del Norte. Como estudiante, desafió las políticas de la escuela que consideraba injustas. Se graduó en 1927 como valedora de la clase y luego se trasladó a la ciudad de Nueva York. Baker comenzó a unirse a organizaciones de activistas sociales. En 1930, se unió a la Young Negroes Cooperative League. El objetivo de la Liga era desarrollar el poder económico de los negros mediante la planificación colectiva. También participó en varias organizaciones de mujeres.
En 1940, Baker comenzó su participación en la NAACP. Trabajó como secretaria de campo y luego fue directora de sucursales desde 1943 hasta 1946, cuando renunció al personal de la NAACP. Siguió siendo una voluntaria activa después de su dimisión del personal, Baker dirigió la lucha de la rama de la NAACP de Nueva York para eliminar la segregación en las escuelas públicas de la ciudad.
En 1957, Baker se trasladó a Atlanta para organizar la nueva organización de Martin Luther King, la Conferencia de Liderazgo Cristiano del Sur (SCLC). También dirigió una campaña de registro de votantes llamada Cruzada por la Ciudadanía. Baker permaneció en la SCLC durante dos años, aunque no estaba de acuerdo con su política de fuerte liderazgo central sobre la organización de base, diciendo que «la gente fuerte no necesita líderes fuertes». Quería ayudar a los nuevos activistas estudiantiles y organizó una reunión en la Universidad de Shaw para los líderes estudiantiles de las sentadas en abril de 1960. De esa reunión nació el SNCC. Baker siguió participando en el SNCC sobre todo como una líder silenciosa que escuchaba y animaba a los jóvenes activistas. Era muy respetada por los estudiantes, que se referían a ella como «Miss Baker».
Ella Baker murió el 13 de diciembre de 1986 en la ciudad de Nueva York.