東京出身。父は政治家の渡邊千冬(14-1-1-10)。その次男として生まれる。兄は大蔵官僚の渡邊武。祖父は伯爵の渡邊千秋。
大叔父(千冬の養父)は渡邊国武(14-1-1-10)。従兄の渡邊昭はボーイスカウト日本連盟総長。従甥に今上天皇の侍従長を務めた渡邉允がいる。
学習院中等科、東京高等学校を経て、1933(S8)東京帝国大学理学部物理学科卒業。理化学研究所で寺田寅彦の門下。
'33渡仏し、パリでド・ブロイに師事。'37ライプツィヒに移り、ハイゼンベルクに師事。主に、熱力学の第二法則、波動力学、原子核理論の研究を行った。
'39戦争悪化のため、帰国。以降、理化学研究所員、東京帝国大学第二工学部助教授、立教大学理学部教授を歴任。
五次元の場の理論を唱え、CPT定理と量子電磁力学の可逆性を証明する。'50渡米後、'56IBMワトソン研究所員などを経て、ハワイ大学教授を勤める。同大学名誉教授。
専門外の分野でも業績を残したことから“ルネサンス人の最後の一人”と呼ばれる。これは「学は一つなり」をモットーとし、哲学、物理学、心理学、情報理論、認知科学、コンピュータ科学等の広汎な領域でコスモロジカルな思索を展開したからである。
特に戦後より、様々な学問から「時」についての研究を行った。多くの哲学者や思想家とも交流し、'46渡辺慧 、鶴見俊輔、鶴見和子、丸山真男(18-1-31)、都留重人、武谷三男、武田清子の7人の同人により雑誌『思想の科学』を出版した。
国際時間学会会長、国際科学哲学アカデミー副会長。
エピソードとしては、旧制高校時代、将来何になりたいかと先生に聞かれて「人間になりたい」と答えた。
戦争中は自由主義者の姿勢を崩さず「科学者は人間のためにある」の信念に従い、戦争に協力した科学者を各誌で批判した。
その時の言葉として「良き政治家は、国家の二十年の将来を計るだろう。良き社会科学者は社会の百年後の将来を予見するであろう。
しかしあらゆる自然科学者は千年後の人類を創造しつつあるのである。 」という名言を残している。
主な著書に『原子核と超微構造』『時間』『原子核理論の概觀』『物理学の小道にて』『場の古典力學』『未來をゆびさすもの』『時間の歴史 : 物理学を貫くもの』『時』『認識とパタン』『時間と人間』(妻のドロテアと共著) 『生命と自由』『知るということ : 認識学序説』『フランスの社会主義の進化 : 渡辺慧初期論文集』など多数ある。東京にて病没。享年83歳。
妻は'37婚姻したドイツ人のドロテア・ダウアー。婚姻後は渡邊ドロテアとしてドイツ文学者・ハワイ大学教授として活躍。子はカリフォルニア大学サンタバーバラ校哲学科名誉教授である渡邊元(1938-)。