大分県国東郡高田町(豊後高田市)出身。医師の金谷立基の二男として生れる。号を桂水。涵養学舎で学び、成城学校を卒業。
1894.7.27(M27)陸軍士官学校卒業(5期)。同期に吉田豊彦(後の大将:9-1-8)、木村戒自(後の中将:7-2-32)、田村守衛(後の中将:1-1-2-22)、津野一輔(中将:3-1-22-1)、村岡長太郎(7-1-1-1)、景山呈作(後に大佐:21-1-29)らがいた。歩兵少尉に任官され、歩兵第3連隊付として日清戦争に出征した。1901.11.28陸軍大学卒業(恩賜・15期)。同期には士官学校同期の田村、津野の他、岡田重久(後の中将:21-1-5-1)、和田亀治(中将:21-1-13)らがいた。陸大卒業後、第3連隊中隊長、参謀本部出仕、陸大教官をへて、第2軍参謀として日露戦争に出征した。
戦後は陸大教官を経て、ドイツに駐在し大使館付武官補佐官を務めた。参謀本部員、'09.12.2 陸大教官、'12.11.11(T1)駐墺太利(オーストリア)大使館付武官に着任し、'13.8.22 大佐に昇進。'14.8.27 欧州駐在の参謀本部付となった。
'15.8.10 歩兵第57連隊長、'16.5.2 参謀本部作戦課長、'18.6.10 少将に進み、支那駐屯軍司令官となる。'19.7.25 参謀本部第1部長、'22.2.8 参謀本部付として防務会議幹事を歴任し、同.8.15 中将に累進、第18師団長に就く。'25.5.1 参謀次長に就任し、'26.3.2 陸軍大学校校長を兼務した。
'27.3.5(S2) 朝鮮軍司令官、'28.8.10 大将に昇格。'29.8.1 軍事参議官を経て、'30.2.19 参謀総長に補された。参謀総長在任中に満州事変が勃発して責任者となる。結果的に、南次郎陸相と共に関東軍に事後追認という形で引きずられることとなった。'31.12.23 軍事参謀官に転じたが、1年半後に在任中に逝去。正3位 勲1等 功4級。享年60歳。従2位追贈。