東京市大森区(東京都大田区)出身。日本銀行に勤務していた父の山田盛造(S12.7.7歿・享年55:同墓)が亡くなったため、4歳にして山田家当主となった。早稲田大学英文科在学中に、劇団民芸の試験に合格したため、中退して研究生として入団。1958(S33)熊倉一雄に誘われ、劇団テアトルエコーに所属し、初舞台を踏む。以後、同劇団の看板俳優として「日本人のへそ」「表裏源内蛙合戦」「道元の冒険」など一連の井上ひさし作品に主役級で出演。舞台で活躍する一方で、テレビ「お笑いスター誕生!!」の司会者や、テレビ西部劇「ローハイド」のアテレコ、クリスト・イーストウッド、ジャン=ポール・ベルモンドの日本語吹き替えも担当した。
一番の代表作は「ルパン三世」の主人公役の吹き替えであり、山田の声なしではヒットにはならなかったのではないかと言われる。ルパン三世の声は'71に抜擢されて以後、逝去する'95までの24年間務めた。「ふ〜じこちゃ〜ん」「ルパ〜ンさ〜んせ〜」というルパンの代名詞とも言える名台詞は山田のアドリブによるものであったという逸話がある。'94TVスペシャル第六弾『ルパン三世 燃えよ斬鉄剣』が遺作。'95劇場映画第五作『ルパン三世 くたばれ! ノストラダムス』より山田の声真似が得意である栗田貫一が引き継いでいる。ルパン以外のアニメ声優としては、「宇宙の騎士テッカマン」アンドロ梅田役、「サスケ」兵馬役、「スーパージェッター」ジン役など多数。
脳出血により東京大田区の都立荏原病院で死去。享年62歳。息子は演芸作家の山田浩康。