筑前福岡藩士の平賀源六の子として生まれる。通称、磯三郎。
1858(安政5)藩命をうけ生徒数人を連れて長崎に赴き西洋学を研究。さらに1867(慶応3)の春、藩命によってアメリカに遊学し、その国情に精通する。1870(M3)の冬に帰国したのち官途に入り、司法省判事となる。
翌年11月、佐々木高行(司法大輔)理事官随行の司法権中判事の一人として岩倉使節団に加わり欧米へ渡る。1873年3月の帰国後、函館裁判所長、検事局判事を歴任。
1882.4.4(M15)義質の長男が自殺を遂げた報を聞き、その場にかけつけた際に、誤って長男が自殺に用いた毒水を口にしてしまい、その場で絶命した。享年56歳。
平賀家は当主と跡取りを同時に失い家督を継ぐ者がいなかったため、同年、親類筋の石松决(いしまつ さだむ)が身内から推薦され、義質の長女とは従姉関係であったが、婿養子となり家督を継ぐこととなった。これにより、石松决の名を平賀義美(同墓)と改名した。平賀義美は化学者・実業家として明治の商工業界に多大な貢献をなした人物である。