熊本県出身。医師の山室宗意の二男として生まれる。双子の兄に銀行家の山室宗文(同墓)。甥に物理学者の山室宗忠(同墓)。
中学済々黌を経て、1902.11.22(M35)陸軍士官学校卒業(14期)。同期に西尾寿造(後に大将:16-1-8)、古荘幹郎(後に大将:20-1-18-11)、佐村益雄(後に中将:12-1-13-41)、末松茂治(後に中将:9-1-8)、橋本虎之助(後に中将:13-1-7)、森田宣(後に中将:24-1-1)、児玉源太郎(8-1-17-1)の三男の児玉友雄、二宮健市(後に少将:22-1-40-1)、山内保次(後に少将:12-1-31)らがいる。
翌年、砲兵少尉に任官し野戦砲兵第18連隊付となる。'05日露戦争に出征。'07陸軍砲工学校高等科で学んだ。
'12(T1)陸軍野戦砲兵射撃学校教官、同校教導大隊中隊長、'17野戦砲兵監部員、'21野戦砲兵第14連隊大隊長、'22陸軍野戦砲兵学校教導連隊大隊長、'23野砲学校教官を経て、'27(S2)砲兵大佐に昇進し、同年、欧州出張した。
'28野戦重砲兵第4連隊長、次いで第8連隊長、'31野戦砲兵学校教導連隊長。'32少将に進級して陸軍技術本部員、技術本部第3部長、'33野戦砲兵学校幹事、'34同校長。
'36中将となり、砲兵監。'37第11師団長、'38陸軍士官学校長を務め、'40.10.28侍命、'41.1.20予備役に編入された。
だが、大東亜戦争悪化にともない、'43.2.25臨時召集を受け、教育総監部付となり、満州へ渡り、関東軍司令官を補佐した。
'44.3.5野戦砲兵学校長、7.8砲兵監、8.8陸軍士官学校長、'45.3.19砲兵監を歴任し、終戦により同年9月に召集解除となった。
実兵家として砲兵の大権威かつ練兵の達人というにふさわしく、砲兵に一生を捧げた。温雅高邁な人格、円満豊富な知識、連続不断の研究心を有した。
野砲校に約18年間勤務し、校長として砲兵唯一の戦闘法たる射撃の進歩発達を期すとの方針をかかげ、職員の射撃技能と教導連隊の部隊をして射撃能力向上を資することにした。
校長になりたての頃、北白川宮永久王が学生として入校したが、校長自ら射撃を行った。殿下は山室の射撃の眼は偉いと感嘆したという。
士官学校長として、第一回目は陸士51期から55期、第二回目は陸士58期から59期の生徒約9千名、少尉候補者15期分約1千名の将校を教育した。
砲兵監は砲兵科の最高位である。その任務は、砲兵科専門事項の訓練に任じ、その再一進歩を図り、かつ砲兵の制度、編制、兵器材料等の諸般にわたり、これの改善進歩を図ることである。野戦砲兵、重砲および防空の三校は砲兵監に隷属した。
山室は三十有余年にわたり砲兵畑に勤務し、その経歴から戦後、砲兵沿革史の編纂に尽力し、とくに建軍以来の砲兵操典、射撃教範等の典範の変遷記述に心血を注いだ。
その偉業は後世に残るものである。勲一等旭日大綬章('30.4.29)。享年82歳。