Ella Baker è nata il 13 dicembre 1903 a Norfolk, Virginia. La Baker sviluppò presto un senso di giustizia sociale. Da bambina, mentre cresceva nella Carolina del Nord, Baker ascoltava sua nonna raccontare storie di rivolte di schiavi. Come schiava, sua nonna era stata frustata per aver rifiutato di sposare un uomo scelto per lei dal proprietario della schiava.
Baker ha studiato alla Shaw University di Raleigh, nel North Carolina. Come studentessa sfidò le politiche scolastiche che riteneva ingiuste. Si laureò nel 1927 come valedictorian della classe e poi si trasferì a New York City. La Baker iniziò a far parte di organizzazioni di attivisti sociali. Nel 1930, si unì alla Young Negroes Cooperative League. Lo scopo della Lega era quello di sviluppare il potere economico nero attraverso la pianificazione collettiva. Si impegnò anche in diverse organizzazioni femminili.
Nel 1940, la Baker iniziò il suo coinvolgimento con la NAACP. Lavorò come segretaria di campo e poi servì come direttrice delle filiali dal 1943 al 1946, quando si dimise dallo staff della NAACP. Rimase una volontaria attiva dopo le sue dimissioni dallo staff, la Baker guidò la lotta del ramo NAACP di New York per desegregare le scuole pubbliche di New York City.
Nel 1957, la Baker si trasferì ad Atlanta per organizzare la nuova organizzazione di Martin Luther King, la Southern Christian Leadership Conference (SCLC). Gestì anche una campagna di registrazione degli elettori chiamata Crusade for Citizenship. La Baker rimase alla SCLC per due anni anche se non era d’accordo con la sua politica di forte leadership centrale rispetto all’organizzazione di base, dicendo che “le persone forti non hanno bisogno di leader forti”. Voleva aiutare i nuovi studenti attivisti e organizzò un incontro alla Shaw University per gli studenti leader dei sit-in nell’aprile 1960. Da quell’incontro nacque il SNCC. La Baker continuò a prendere parte al SNCC soprattutto come un leader tranquillo che ascoltava e incoraggiava i giovani attivisti. Era molto rispettata dagli studenti che la chiamavano “Miss Baker”.
Ella Baker morì il 13 dicembre 1986 a New York City.