羽前(山形県)出身。新庄の士族の平塚栄次郎の長男として生まれる。弟に農林水産業の発展に尽くし文化功労者受賞の平塚英吉。
上京し、東京帝国大学法科政治科に学び、日夜政治学の研鑽につとめた。1902(M35)抜群の成績を残して卒業。
文官高等試験に合格し、栃木県属を振り出しに、翌年、抜擢され内務省入りし、早くも大成を期待されるところとなる。'05福井県事務官、次いで参事官に栄進する。'
06宮城県事務官、第三部長、同年7月には長崎県事務官に転じ第二部長に就任し、長崎県政の進展と刷進に努めて名事務官といわれたが、その後も、'07三重県事務官、神奈川県警察部長、愛媛県・新潟県・兵庫県内務部長を歴任した。
'16(T5)第17代栃木県知事('16.6.2〜'22.10.16)に推挙され、瑞宝章を下賜された。
'22第21代長崎県知事('22.10.16〜'23.10.25)に抜擢され、次いで、'23第17代兵庫県知事('23.10.25〜'25.9.16)に着任した。
兵庫県知事の時代には官立姫路高等学校開設、また甲子園球場が完成した際の知事でもあった。
'25第24代東京府知事('25.9.16〜'29.7.5)となる。'32〜'36(S7.1.13〜S11.9.2)第16代台湾総督府総務長官をつとめた。
台湾では台湾拓殖株式会社の副社長も歴任。なお、社長は児玉秀雄(8-1-17-1)。'39.12.19〜'47.5.2勅撰貴族院議員。参議院全国選出議員選挙管理委員会委員長を務めた。正3位 勲2等。享年71歳。