千葉県出身。農業を営んでいる馬場伝吉の二男として生まれる。旧姓は馬場。陸軍中将の高山公通（同墓）の養嗣子となる。
松戸中学、仙台陸軍幼年学校、陸軍士官学校予科を経て、1927.7.19(S2)陸軍士官学校卒業（39期）を卒業。同.10.25砲兵少尉に任官し、横須賀重砲兵聯隊附となる。'30.11.28陸軍砲工学校高等科卒業、'35.11.29陸軍大学校を首席で卒業（47期）。横須賀重砲兵聯隊中隊長となる。
'37.3参謀本部附、参謀本部部員（作戦課）、'38.9第21軍参謀、'39少佐になり、'40.3ドイツ駐在、'41.3.10参謀本部（作戦班）、この時期に、山下奉文(16-1-8-6)中将を団長とする独伊軍事視察団に参加。シベリア経由でベルリンに向かう。
その時にアドルフ・ヒトラーと会見し握手をしている。同.6帰朝し、同.6.28参謀本部部員 兼 大本営参謀（対支作戦）となり、参謀本部作戦課長の服部卓四郎に、対ソ早期開戦案を強く主張した。同.12太平洋戦争が勃発。
'42中佐になり、大本営兵站総監部参謀を兼務。1月中旬、田中作戦部長の特命により、バターン半島攻略の督戦と作戦指導のためマニラに飛んでいる。第65旅団長奈良晃少将の戦闘司令所を訪問し、実情を把握した高山は、参謀本部に対し急遽兵力の増援を要請したとされる。
同.12.22参謀本部部員 兼 大本営参謀（作戦課戦力班長）、'44.8軍令部員も兼務、'45.4.6陸軍省軍務局軍事課高級課員になり、同.6.10大佐に昇進したが、終戦を迎えた。同.11予備となる。
戦後、'47.1 第1復員局総務課長に就任。'50.8厚生省引揚援護庁復員業務部長に親補された。この時期に朝鮮戦争が勃発し、GHQの指令に基づくポツダム政令により警察予備隊が総理府の機関として組織された。後の陸上自衛隊の発足である。
同時期に旧海軍の残存部隊は海上保安庁を経て海上警備隊となり、その後、警備隊として再編される。'52.8.1この2つの機関を管理運営のための総理府外局として保安庁が設置され、同.10.15警察予備隊は保安隊に改組。
そして、'54.7.1「自衛隊の任務、自衛隊の部隊の組織及び編成、自衛隊の行動及び権限、隊員の身分取扱等を定める」（自衛隊法第1条）自衛隊法（昭和29年6月9日法律第165号）が施行され、警備隊は海上自衛隊に、新たに領空警備を行う航空自衛隊も新設。陸海空の各自衛隊が成立した。また同日付で防衛庁設置法も施行されている。
'52.12高山は陸上自衛隊の前身の警察予備隊に入隊し、北部方面特科団長となる。'53.8.16保安大学校幹事（保安監補）に就任。'54.7.1陸上自衛隊が発足すると、陸将補を与えられ、防衛大学校幹事に任命された。
'55.3.15陸上幕僚監部第5部長を経て、'56.8.16陸将に昇格し、統合幕僚会議事務局長に就任した。その後は、'59.3.17第1管区総監、'60.8.1北部方面総監、'62.3.12陸上幕僚副長に任ぜられ、'64.3.16陸上幕僚監部附から、同.4.1退官した。
著書に『荒尾興功さんをしのぶ』(1978)、『昭和名将録（一）』(1979)、『昭和名将録（二）』(1980)、『いまなぜ防衛か』(1982)、『二人の参謀服部卓四郎と辻政信』、『参謀本部作戦課の大東亜戦争』、『参謀本部作戦課の大東亜戦争』、『陸軍大学校の戦略・戦術教育』がある。功五級。享年80歳。
