上海音樂學院前身是偉大的民主革命家、杰出的教育家、思想家蔡元培先生和音樂教育家蕭友梅博士于1927年11月27日共同創辦的國立音樂院。首任院長為蔡元培先生。1929年9月更名為國立音樂專科學校。中華人民共和國成立后，于1956年定名為上海音樂學院。自1949年至1984年，著名作曲家、音樂理論家、音樂教育家賀綠汀擔任院長（后任名譽院長），為學校的建設及發展做出了卓越的貢獻。1984年后，桑桐、江明?、楊立青、許舒亞教授曾先后任院長。學院現任黨委書記、院長：林在勇。

學院面向全國招收本專科生、碩士研究生、博士研究生，并招收外國留學生。學院設有15個系（部），即作曲系、指揮系、音樂學系、民族音樂系、鋼琴系、聲樂歌劇系、管弦系、音樂教育系、音樂戲劇系、藝術管理系、音樂工程系、現代器樂與打擊樂系、公共基礎部、研究生部、數字媒體學院（籌）等。涉及6個專業(作曲與作曲技術理論、音樂學、音樂藝術表演、錄音藝術、公共事業管理、音樂科技與藝術)、近20個專業方向，既包括了具有雄厚根基的傳統專業，也有若干新建的新興學科與交叉學科。

學院擁有全國最早建立的碩士、博士、博士后流動站的完整教學、科研體系。目前，有博士學位一級學科授權點3個（藝術學理論、音樂與舞蹈學、戲劇與影視學）；碩士學位一級學科授權點3個（藝術學理論、音樂與舞蹈學、戲劇與影視學）；藝術學博士后科研流動站1個。學院目前擁有2個上海市重點學科（優勢學科：作曲與音樂設計，特色學科：音樂文化史）、上海市教育高地1個（音樂表演）、以及上海市高校音樂人類學E－研究院。
學院擁有3個集教學、表演、科研為一體的藝術中心，即周小燕國際歌劇中心、國際弦樂藝術中心、國際鋼琴藝術中心；擁有1個音樂研究所，下設中日音樂文化研究中心、中國當代音樂研究與發展中心、上海音樂學院校史研究中心、音樂劇研究中心、音樂教育研究中心、音樂與社會研究中心等。并建有六個音樂表演團體：上海青年交響樂團、上海音樂學院新室內樂團、上海音樂學院弦樂四重奏組、上海音樂學院打擊樂團、上海音樂學院民族樂團以及上海音樂學院合唱團。學院另擁有一個富有特色的出版社??上海音樂學院出版社、一個高水平的學術期刊??《音樂藝術》、一個獨一無二的特色博物館??東方樂器博物館、以及一個高水準的演出場所??賀綠汀音樂廳。

學院在教學體制上實行“大、中、小”一貫制。1953年正式成立了附中，1956年成立了附小。五十多年來，附中、附小形成了鮮明的教學特色和優良傳統，取得了優異的辦學成果，培養出一大批日后成為國內外知名音樂家的優秀學生，成為我院及全國各音樂院校后備人才的重要培養基地。
學院歷來重視師資隊伍建設。在學院發展的各個歷史時期，始終有一批國內著名乃至國際一流的教授領銜于各個學科，如建校初期的外籍教授查哈羅夫、富華、蘇石林、齊爾品以及國內著名音樂家蕭友梅、黃自、周淑安、應尚能、賀綠汀、丁善德等。新中國成立后，大批學子從海外學成歸來選擇上海音樂學院作為報效祖國的平臺，除了原有一批活躍于教學一線的著名學者為學科帶頭人以外，學院加大人才引進力度，廣納賢才，將國內外杰出的專家學者吸收到學院的教學和管理崗位上來，為上海音樂學院的發展奠定了厚實的基礎。
建院至今，學院培養的人才遍及全國和世界各地，其中有國際一流的作曲家、演奏家、指揮家、歌唱家、理論家；有文化藝術機關、團體中的領導骨干；有音樂院校、研究機構的業務骨干以及從事普及音樂文化藝術的文藝工作者。同時，學院在教學、科研、創作、學科建設等方面碩果累累，體現了學院雄厚的辦學力量。僅以我院師生在國際國內比賽中取得的突出成績為例，從20世紀50年代起，我院師生就在國內外音樂比賽中屢獲佳績，尤其是20世紀80年代至90年代以來，有600余人次在國際、國內重要音樂比賽中獲獎，其中1990年至1993年我院附中學生連續在國際音樂比賽中獲得第一名，被文化部授予“三年中連續四次獲國際比賽第一名”的獎匾，是全國音樂院校中唯一獲此殊榮的院校。2007年至2011年，學院共有106人次獲得108項國際音樂比賽獎項、530人次獲454項國內音樂比賽獎項。學院被譽為“音樂家的搖籃”。
學院在保持傳統優勢學科國際先進水平的同時，積極拓展新的學科發展空間，打造學科專業建設新的增長點，促進學院辦學水平的提高。如新辦的本科專業公共事業管理（下設藝術管理和音樂電子信息技術管理兩個方向）以及音樂工程專業，突破音樂教育傳統的辦學模式，率先在全國同類院校中招收一本生源，實現了包括音樂學、工程學、電子學、管理學等多學科領域的交叉跨越。
學院始終與世界一流的音樂學院和音樂家保持著密切的聯系。近年來，我院分別與美國、俄羅斯、荷蘭、奧地利、挪威、西班牙、澳大利亞、德國和日本等多個國家和地區的音樂院校建立了廣泛的校際合作。如舉辦國際音樂院（校）校長論壇，邀請世界一流的專家來學院講學，并聘請許多國際著名的音樂家為學院名譽教授或客座教授等。其中著名小提琴演奏家斯特恩、帕爾曼、里昂?費萊舍、祖克曼；著名指揮家小澤征爾、西蒙?拉特；著名大提琴演奏家羅斯特洛波維奇、馬友友等等都被我院聘為名譽教授或客座教授。學院還對在世界音樂舞臺上卓有成績的華人音樂家，啟動了來去自由的“簽約教授制”（即簽約教授可以根據個人情況，靈活選擇在我院的授課時間）。如鋼琴大師傅聰、陳宏寬，作曲家譚盾、瞿小松、陳其鋼、盛宗亮、徐儀、安承弼，歌唱家張建一、田浩江、梁寧、黃英，圓號演奏家韓小明，大提琴演奏家秦立巍，指揮家湯沐海、余隆等，都成為學院簽約的兼職或特聘教授。近年來，學院成功舉辦了“帕爾曼在上海”、“國際歌劇大師班”、“小澤征爾大師班”、“傅聰鋼琴大師班”、“國際單簧管音樂節”、“國際鋼琴大師班”、“祖克曼大師班”“國際電子音樂周”等系列對外學術文化交流活動。
目前上海音樂學院正面臨新的發展機遇，學院師生正以嶄新的面貌，按照江澤民同志“辦一流音樂教育，創國際先進水平”的指示精神，在文化部、教育部、上海市委、市政府的領導下，繼承辦學的優良傳統，積極開拓進取，克服困難，迎接挑戰，與時俱進，努力實現建設國際一流音樂院校的目標，為建設做出更大的貢獻，再鑄上海音樂學院新的輝煌！