岐阜県安八郡神戸町(輪之内町)出身。父は漢学者の杉山千和の三男。名は令、字は直心、号を三郊、通称が令吉。号の杉山三郊として作品を多く残している。
幼い頃から父に漢字と書の英才教育を受けた。18歳の時に神戸村に玉成義校(神戸小学校の前身)が創設されると、漢字、筆学の教師になる。
その後、大垣師範研修学校に学び、岐阜の学校に勤務したが、向学の志かたく、河野春庵と中山道を徒歩で上京し、川田甕江塾に入門した。師で儒者の川田甕江の娘と結婚した。また森春濤(14-1-3-3)の門下でもある。
その後、警視庁に勤めたが、32歳の時に辞し、米国ミシガン州のアンナボーア大学に留学。帰国後、外務省に入省し、39歳の時に陸奥宗光の秘書官となる。以降、陸奥宗光の懐刀として三国干渉に活躍し、日清戦争の講話条約の話し合いに参加、外交上の文書や条約文の草案作製にあたった。
日露戦争で旗艦三笠に掲げられたZ旗の「皇国の興廃此の一戦に在り。各員一層奮励努力せよ」の言葉は、杉山の発案であったのを小笠原長生が自分の発案だと東郷司令長官に上申したとの逸話がある。
また、東京商科大学(一橋大学)、早稲田大学の教授となり、50年以上にわたって漢学や詩文を担当した。特に手紙文の指導は最も得意とした授業であったとされる。
杉山三郊としても、約30年間、東伏見宮依仁親王、同妃殿下に漢籍書道を進講されたり、岩倉具視など、多くの著名人の書道師範を務めた。明治9年9月1日から昭和19年11月3日まで69年にわたって日記を書き記しており、明治から昭和にかけての政界や学会の様子が伺える貴重な資料となっている。
「心正しければ筆正し」を指導理念として、多くの教え導いた。享年90歳。