富山県出身。明治初年、日本の国際化到来を予見し、アメリカへ留学。アメリカの学校を卒業後、現地にて邦字新聞の発行事業を手がける。帰国中の外国客船で日本とアメリカの言葉の壁を越え、「Music is the universal language of mankind (言葉が通じなくても、音楽は人と人とを繋げることができる、人類共通の言語である)」と痛感し、1892(M25)西洋楽器店を創業した。
ピアノ・オルガン等の製造販売を始め、工場を月島、販売本部を銀座に設立。'12『月間楽譜』を創刊。 '14(T3)松本ピアノから営業権を譲り受け「山野楽器店」と改称、初代社長に就任。'21日本楽器と提携しヤマノピアノ・オルガンを製造販売。また上野音楽学校(東京芸術大学)の学生に奨学金制度を設立した。
この間、 '13アメリカ・ビクター蓄音機商会製品の取り扱いを開始。'15 松本楽器合資会社より事業継承し、合資会社山野楽器店を設立し初代社長に就任。'26 株式会社山野楽器に改組。'43(S18)キングレコードの販売権を獲得するなど事業拡大に成功した。
関東大震災や東京大空襲などで店舗焼失の危機からも立ち上がり、日本音楽業界のパイオニアとして音楽文化を高めることに尽力。 東京蓄音器商組合長、全国蓄音器商組合連合会会長などを歴任。'51 山野楽器会長に就任し、長男の山野省三(同墓)が 2代目社長に就任した。'57 子どものための音楽教室(オルガン教室、ヤマハ音楽教室)が始まる。享年91歳。
山野楽器はアメリカのギターメーカーの大手のフェンダーや、2006(H18)まではギブソンなど海外一流メーカーなどの日本総代理店としてインターナショナルな活動を続け、2022(R4)創業130年の歴史を継承している。