カツオのうま味物質がイノシン酸であることを発見した小玉慎太郎は兄。
物理学校(東京理科大学)卒業。ドイツのライプチヒに留学し、化学者オストワルトのもとで学ぶ。帰国後、味の素の中国工場の技師長を務めたり、'34(S9)樺太炭業会社を新設すると共に同社技術部長を務めるなど、多くの化学系の企業で研究開発の部署を立ち上げ指導した。'38昭和電工株式会社参与も務めた。'43フェルヂナント・フリーデンスブルヒ著『戦争と地下資源』を訳し刊行。
発明の1つであるメッキの技術で起こした日本硬化冶金を経営。その中核であるシリンダー内壁へのクロムメッキの特許の公開を、航空機のエンジンに使用するため国から求められそれに応じた。その功績を多とした国は、報奨金5万円(現在の価値としては2〜3億円)を下賜。それを基本金として、'43.9.14「財団法人科学技術振興会」を創設した。
戦後、小玉の指導の元、科学技術振興会では全国規模で希少金属を回収する技術の指導を公益事業として行った。これはメッキ廃液の中に多くの希少金属が含まれ、それが廃液として捨てられていることに注目して、産業廃棄物からの貴金属回収技術のことである。小玉のモットーは「この世の中に無駄なものは何一つない」を具現化した形の取り組みである。科学技術振興会は創設から亡くなるまで一貫して理事長として活動、在位41年。母校の物理学校が東京理科大学として学校法人化するときの創設理事の一人であり本部長を務めた。このこともあり、財団法人科学技術振興会は現在「小玉財団」とも呼ばれ、東京理科大学および大学生、卒業生のために学術振興事業、奨学事業等を行う目的も果たしている。
財界人としても活躍し、特に日本工業倶楽部の有力メンバーの一人。'76.6.10鋼鉄の父 本多光太郎を顕彰した公益財団法人本多記念会理事長に就任した。享年85歳。没後、科学技術振興会の2代目理事長を引き継いだのは、子息で米国ユタ大学教授を務めた小玉剛二。