斎藤秀三郎の子で同墓。1923〜27(T12〜S2)ライプチヒ音楽院に留学し、クレンゲルに師事、一時帰国の後30〜32再度渡欧し、ベルリン高等音楽学校でフォイアマンに師事。
最初チェロ奏者として日本交響楽団の首席奏者をつとめたが、40退団、指揮に転じた。42松竹交響楽団、43日本放送管弦楽団、45東京フィルハーモニー交響楽団の各指揮者を歴任。
61〜72桐朋学園大教授、のち客員教授。敗戦後は指揮者としても独特な風格のある演奏をきかせたが、指揮者の小沢征爾・岩城宏之ら、チェロの堤剛・岩崎洸らを育てた教育面での功績は大きい。
近年の日本の洋楽演奏界のめざましい発展に尽した。56芸術院賞受賞。73文化功労者。