滋賀県東浅井郡虎姫町（長浜市）出身。村上米三郞の二男として生まれる。1912.7(M45)東京帝国大学法科大学独法科卒業。文官高等試験に合格し、鉄道員に入る。
大宮駅助役となり、次いで鉄道員副参事、参事鉄道書記官旅客課長、大臣官房文書課長 兼 鉄道大臣秘書官などを歴任。この間、'22(T11)欧米出張。'27(S2)鉄道省 神戸鉄道局長、'28 大阪鉄道局長を務めた。'30 南満州鉄道理事（〜'34.7）。
実業界に転じ、'37 朝鮮運送社長になり、同.10.1 国営企業の日本通運が発足し副社長。'40 日本通運の社長に昇進（〜'43.7）。
戦後、'46.1.13 幣原喜重郎内閣の公職追放後の内閣改造で運輸大臣に三土忠造が内務大臣と兼任する形で就任するも、13日後に内務大臣に専念するため、同.1.26 村上が抜擢され運輸大臣に就任した。民間から大臣抜擢であったこともあり、同.6.5 貴族院議員に勅選された。しかし、'47.5.3 貴族院が廃止となり、参議院が誕生。'47.4.20 第1回参議院議員通常選挙に滋賀県選挙区から無所属で出馬し当選（以降3回当選）。緑風会、のちに同志会に属した。
この年、近畿日本鉄道（近鉄）社長の種田虎雄が公職追放となるにあたり、同年代の同じ鉄道官僚出身であった村上に、後任の社長に就任してもらいたい旨の打診を受ける。議員活動があるため断るが、再三の要請に根負けし、議員活動との両立するために大阪には月の半分しか滞在ができないこと、報酬は受け取らないという条件で社長を引き受けることになった。
'48 参議院議員運営委員長を務める。'49.5 東京滋賀県人会会長（のちに名誉会長）。'51.12 近鉄の社長を実務面を取り仕切っていた佐伯勇に譲り退任。その直後、同.12.26 第3次吉田第3次改造内閣の運輸大臣に就任した。'52.10 運輸大臣を解かれると、近鉄の相談役として復帰している。
'60.10 全国治水防協会副会長。'61.1 日本交通公社会長。経団連顧問もつとめた。'64.11 勲一等瑞宝章受章。'65.6 政界を引退。'74 逝去。享年88歳。死没日をもって正3位に叙せられた。没後、満鉄関係記録が村上家より慶應義塾大学法学部に寄贈され、「村上義一文書」として三田図書館に所蔵されている。
