Ella Baker urodziła się 13 grudnia 1903 roku w Norfolk w stanie Wirginia. Wcześnie rozwinęła w sobie poczucie sprawiedliwości społecznej. Jako dziewczynka dorastająca w Karolinie Północnej, Baker słuchała opowieści babci o buntach niewolników. Jako niewolnica, jej babcia została wychłostana za odmowę poślubienia mężczyzny wybranego dla niej przez właściciela niewoli.
Baker studiowała na Shaw University w Raleigh, Karolina Północna. Jako studentka kwestionowała politykę szkoły, która jej zdaniem była niesprawiedliwa. Ukończyła szkołę w 1927 roku jako walidatorka klasy, a następnie przeniosła się do Nowego Jorku. Baker zaczęła działać w organizacjach aktywistów społecznych. W 1930 roku wstąpiła do Young Negroes Cooperative League. Celem Ligi było rozwijanie siły ekonomicznej czarnych poprzez zbiorowe planowanie. Zaangażowała się również w działalność kilku organizacji kobiecych.
W 1940 roku Baker rozpoczęła swoją działalność w NAACP. Pracowała jako sekretarka terenowa, a następnie pełniła funkcję dyrektora oddziałów od 1943 do 1946 roku, kiedy to zrezygnowała z pracy w NAACP. Po rezygnacji z członkostwa w NAACP pozostała aktywną wolontariuszką, Baker przewodziła nowojorskiemu oddziałowi NAACP w walce o desegregację nowojorskich szkół publicznych.
W 1957 roku Baker przeniosła się do Atlanty, aby zorganizować nową organizację Martina Luthera Kinga, Southern Christian Leadership Conference (SCLC). Prowadziła również kampanię rejestracji wyborców, zwaną Krucjatą Obywatelską (Crusade for Citizenship). Baker pozostała w SCLC przez dwa lata, choć nie zgadzała się z jej polityką silnego centralnego przywództwa nad organizacją oddolną, mówiąc, że „silni ludzie nie potrzebują silnych przywódców”. Baker opuściła SCLC po protestach w Greensboro. Chciała pomóc nowym aktywistom studenckim i zorganizowała spotkanie na Uniwersytecie Shaw dla liderów studenckich w kwietniu 1960 roku. Z tego spotkania narodziło się SNCC. Baker nadal brała udział w SNCC, głównie jako cichy lider, który słuchał i zachęcał młodych działaczy. Była powszechnie szanowana przez studentów, którzy nazywali ją „Miss Baker”.
Ella Baker zmarła 13 grudnia 1986 roku w Nowym Jorku.