山梨県都留出身。保寿院十七世僧侶の山崎玄洞の二男として生まれる。旧制中学、陸軍幼年学校を経て、1913(T2)陸軍士官学校(25期)卒業。
同期に小倉尚(後に中将:22-1-62)、須藤榮之助(後に中将:22-1-69)、船引正之(後に中将:24-1-61)、村治敏男(後に中将:25-1-48)、吉岡安直(後に中将:3-1-14)、岡本徳三(後に少将:9-1-19)、杵村久蔵(後に少将:16-1-3)、山田三郎(後の少将:26-1-2)らがいる。
同年、陸軍少尉に任官し、高崎歩兵第15連隊付となる。'18〜'20シベリア出兵、'28(S3)済南事変に出征。歩兵第15連隊大隊長、歩兵第50連隊補充隊長、第36師団兵器部長などを歴任し、'40陸軍大佐に昇進。太平洋開戦時は歩兵第130連隊長となった。
'43北海守備第二地区隊長として潜水艦にてアッツ島に着任。アッツ島守備隊長として独力で島を堅守することが任務として与えられる。
日本軍はミッドウェー海戦の補助的作戦としてアリューシャン列島のアッツ、キスカの2島を占領した。そのアッツ島に飛行場を造るため、米軍の反攻基地として使用させないよう山崎部隊2650名が駐屯した。
一方、米軍は陸軍第7師団を主力とし、1万1000余の兵力をもってアッツ島に進攻した。大本営は5月23日「最後に到らば潔く玉砕し、皇国軍人の精華を発揮するの覚悟あるを望む」
(助けに行けないから全員死ぬまで戦ってほしい)と電報し、山崎は「その期至らば、在島将兵全員喜んで一丸となって死地につき、魂魄は永く祖国を守るものと信ず」と返電した。真面目一本の典型的な軍人といわれる。
米軍の絶対的な人数と火力で攻略は楽勝かと思われたが、山崎部隊の想像以上の抵抗のため、攻略スケジュールが大幅に遅れ、米軍側の連隊長の戦死、師団長ブラウン少将の解任という事態にまで発展した。更にアメリカ統帥部は、アラスカ防備隊から一箇歩兵連隊を抽出し増援。
予定外の兵力投入を余儀なくさせたことから見ても、日本軍守備兵の健闘、また山崎が硫黄島と同じく水際防御ではなく、敵を島の高地に引き込み稜線を利用した防御陣地に籠もり持久に徹した戦略をとったからである。
しかし、米軍は増援を受けて総兵力12000名に達し、日本軍の勇戦及ばず、次第にチチャゴフ湾周辺の復廊陣内に圧迫されていった。
5月29日、守備隊の生存者に旭湾(マサッカル湾)近くの臥牛山附近の米軍陣地に最後の突撃を行うことを命令。山崎は大本営に最後の無線を行った。
「地区隊は海上正面防備兵力を徹し、之を以って本29日攻撃の重点を大沼谷地方面より後藤平敵集団地点に向け、敵に最後の鉄槌を下し之を殲滅。皇軍の真価を発揮せんとす・・・」
山崎は同時に一切の通信機を破壊し、暗号書は焼却。残党兵士150名を率いて、右手に軍刀、左手に日の丸の旗を握って突撃の指揮をとり、攻撃部隊の先頭に立ち、山の斜面を駆け上って米軍の哨戒線を突破、米軍陣地で激しい白兵戦を展開し、最後は身に数弾をうけて戦死した。享年51歳。
これにより、アッツ島での18日間の激しい抗戦は幕を閉じたが、この戦いにより米政府の発表によれば、米軍は戦死342名、戦傷1135名、行方不明58名と発表。
日本軍は戦死者2638名、生還者は27名である。大本営はアッツ島における戦闘終結を受けて、初の「玉砕」報道を行った。
この報に接した昭和天皇は、すでに現地には無線機もなく、聞ける人間もいないと知りつつ、「アッツ島部隊は最後まで非常によくやった。そう私が言っていた、と打て」と山崎部隊に対するご嘉賞の打電を命じた。
なお、アッツ島守備隊の勇戦に驚愕した米軍が隣島キスカ島の攻略をためらっている隙をついて、同島守備隊は、全員無事撤退に成功した。
没後、山崎は二階級特進し中将となった。なお、戦後遺骨収集の際一番先頭で遺品・遺骨が確認されたのは山崎である。
感状に映える偉勲に対し、軍神として讃えられ、「山崎軍神部隊」という軍神を偲ぶ歌が作られたり、世間の軍神部隊の顕彰歌として「アッツ島血戦勇士顕彰国民歌」が歌われた。
米軍戦史にも、山崎を「稀代の作戦家」と讃え、「彼の軍隊は今まで前例がない程に塹壕を利用し、最後まで岩と土とを利用して戦った。米軍は今や日本軍から何を予期すべきかを知った。」と戦訓中に述べている。また「突撃の壮烈さに唖然とし、戦慄して為す術が無かった」と伝え、「バンザイ・アタック」の名とともに今も讃えられている。