Atterberg wurde in Göteborg geboren. Sein Vater war Anders Johan Atterberg, Ingenieur und Bruder des berühmten Chemikers Albert Atterberg. Seine Mutter, Elvira Uddman, war die Tochter eines berühmten Opernsängers.
Im Jahr 1902 begann Atterberg Cello zu lernen, nachdem er durch ein Konzert des Brüsseler Streichquartetts mit Beethovens Streichquartett Nr. 8 inspiriert worden war. Sechs Jahre später wurde er Mitglied der Stockholmer Konzertgesellschaft, des heutigen Königlichen Philharmonischen Orchesters Stockholm, und veröffentlichte sein erstes vollendetes Werk, die Rhapsodie für Klavier und Orchester, op. 1. Sein Streichquartett Nr. 1 in D-Dur, op. 2, folgte bald darauf.
Während Atterberg bereits Bauingenieurwesen an der Königlichen Technischen Hochschule studierte, schrieb er sich 1910 mit einer Partitur seiner Rhapsodie und einer unvollständigen Version seiner Symphonie Nr. 1 an der Königlichen Musikhochschule in Stockholm ein. Dort studierte er Komposition und Orchestrierung bei dem Komponisten Andreas Hallén. Ein Jahr später erwarb er sein Ingenieurdiplom und erhielt ein staatliches Musikstipendium. Sein Debüt als Dirigent gab er 1912 bei einem Konzert in Göteborg mit der Uraufführung seiner ersten Sinfonie und der Konzertouvertüre a-Moll op. 4.
Obwohl er weiterhin komponierte und dirigierte, genoss Atterberg eine erfüllte Karriere in verschiedenen Organisationen. 1912 nahm er eine Stelle beim schwedischen Patent- und Registrierungsamt an, wo er 1936 Abteilungsleiter wurde und bis zu seiner Pensionierung 1968 arbeitete. 1918 war er Mitbegründer des Schwedischen Komponistenverbandes, zusammen mit anderen prominenten Komponisten wie Ture Rangström, Wilhelm Stenhammar und Hugo Alfvén. Sechs Jahre später wurde er zum Präsidenten der Gesellschaft gewählt und behielt diese Position bis 1947. Zur gleichen Zeit wurde er Präsident der Svenska Tonsättares Internationella Musikbyrå, die er ebenfalls mitbegründete und deren Präsidentschaft er bis 1943 innehatte. Weitere Aufgaben, die Atterberg übernahm, waren seine Arbeit als Musikkritiker für die Stockholms Tidningen von 1919 bis 1957 und als Sekretär der Königlich Schwedischen Musikakademie von 1940 bis 1953.
Atterberg starb am 15. Februar 1974 im Alter von 86 Jahren in Stockholm und wurde dort auf dem Nordfriedhof beigesetzt.
Verbindungen zum Dritten Reich
Während der Zeit des Dritten Reiches hielt Atterberg Kontakt zu deutschen Komponisten und Musikgremien, um die schwedisch-deutschen Musikbeziehungen zu stärken. Er dirigierte seine eigenen Werke in Deutschland, manchmal mit berühmten Orchestern; und eine Reihe berühmter deutscher Dirigenten baute auf Atterbergs Sinfonien auf. Atterberg zögerte nie, die deutschen Kontakte, die er im Laufe der Jahre knüpfte, an seine schwedischen Kollegen weiterzugeben, oder sich für schwedische Werke einzusetzen, die in Deutschland gebaut wurden. Atterberg machte Albert Henneberg 1926 bei einem Musikfest in Kiel mit Fritz Tutenberg bekannt, und sie schrieben gemeinsam Opern für die Oper in Chemnitz. Von 1935 bis 1938 war Atterberg Generalsekretär des Internationalen Komponistenrates, der 1934 von Richard Strauss gegründet worden war. Seine fortbestehenden Beziehungen zu den Musikverbänden Nazideutschlands nach 1933 wurden vom Dritten Reich zu Propagandazwecken genutzt.
In Atterbergs Korrespondenz und Sprachgebrauch finden sich antisemitische Passagen, die besonders in Auseinandersetzungen mit dem Komponisten Moses Pergament , einem Musikkritiker des Svenska Dagbladet, deutlich werden. In einem Brief an Pergament aus dem Jahr 1923 schrieb Atterberg: „Dass Sie sich als schwedischer Komponist lancieren könnten, hätte ich mir nicht träumen lassen … Bis heute sind Sie im Prinzip ein grundsätzlich rein jüdischer Komponist – warum also nicht auch im Namen?“ Der Streit zwischen den beiden Komponisten rührte von ihren diametral unterschiedlichen künstlerischen Tendenzen und der Tatsache her, dass Atterberg eine führende Persönlichkeit in der schwedischen Musikszene und ein Verfechter der romantischen nationalen Identität war, während Pergament zusammen mit Gösta Nystroem und Hilding Rosenberg einem eher modernistischen Flügel zugeneigt war.
Nach dem Zweiten Weltkrieg wollte sich Atterberg vom Verdacht befreien, ein Nazi-Sympathisant zu sein. Die Royal Academy of Music richtete auf eigenen Wunsch eine Untersuchung gegen Atterberg ein. Die Untersuchung konnte die Vorwürfe, er sei ein Nazi-Sympathisant, weder bestätigen noch entkräften.