Ella Baker werd geboren op 13 december 1903 in Norfolk, Virginia. Baker ontwikkelde al vroeg in haar leven een gevoel voor sociale rechtvaardigheid. Als opgroeiend meisje in North Carolina luisterde Baker naar de verhalen van haar grootmoeder over slavenopstanden. Als slavin had haar grootmoeder zweepslagen gekregen omdat ze weigerde te trouwen met een man die door de slavenhouder voor haar was uitgekozen.
Baker studeerde aan de Shaw University in Raleigh, North Carolina. Als studente vocht ze het in haar ogen oneerlijke schoolbeleid aan. Ze studeerde in 1927 af als klassenoudste en verhuisde daarna naar New York City. Baker begon zich aan te sluiten bij sociaal-activistische organisaties. In 1930 werd ze lid van de Young Negroes Cooperative League. Het doel van de League was om zwarte economische macht te ontwikkelen door middel van collectieve planning. Ook was zij betrokken bij verschillende vrouwenorganisaties.
In 1940 begon Baker haar betrokkenheid bij de NAACP. Zij werkte als veldsecretaresse en was vervolgens directeur van afdelingen van 1943 tot 1946, toen zij ontslag nam uit de staf van de NAACP. Na haar ontslag uit de staf bleef ze een actieve vrijwilliger, Baker leidde de strijd van de New Yorkse NAACP afdeling voor de desegregatie van de openbare scholen in New York City.
In 1957 verhuisde Baker naar Atlanta om de nieuwe organisatie van Martin Luther King, de Southern Christian Leadership Conference (SCLC), te organiseren. Ze leidde ook een kiezersregistratiecampagne, de Crusade for Citizenship. Baker bleef twee jaar bij de SCLC, hoewel ze het niet eens was met het beleid van een sterk centraal leiderschap ten koste van basisorganisaties, met de woorden “sterke mensen hebben geen sterke leiders nodig”. Ze wilde de nieuwe studentenactivisten helpen en organiseerde in april 1960 een bijeenkomst op Shaw University voor de studentenleiders van de sit-ins. Uit die bijeenkomst werd SNCC geboren. Baker bleef deel uitmaken van SNCC vooral als een stille leider die luisterde en de jonge activisten aanmoedigde. Ze werd alom gerespecteerd door de studenten, die haar “Miss Baker” noemden.
Ella Baker overleed op 13 december 1986 in New York City.