越後国南蒲原郡加茂（新潟県加茂市）出身。農家の坪谷甚三の3男。号は水哉（すいさい）。1876(M9)分家。幼少の頃より学問を好み家業を手伝いながら独学自習を続けた。
1885(M18)23歳の時に上京。1888(M21)東京専門学校(早稲田大学)政治経済科を卒業。翌年、行政科卒業。在郷中からの寄稿の縁で、同郷の大橋佐平によって設立された博文館に在学のまま館員となった。1888.6(M21)博文館の書籍出版成功の第一号となった『市制、町村制注釈』を著述。以後も執筆者、編集者として活躍。編集局長を経て、'18(T7)取締役に就任した。
この間、1894(M27)内外通信社主幹兼務。翌年、博文館『太陽』創刊に従事し初代主筆。1899 東京市牛込区議会議員。1901(M34)から1922(T11)まで7期にわたり東京市会議員を務めた。在任中、'02 当時の東京には国立の帝国図書館、私立の大橋図書館と帝国教育会図書館があるのみで、市立図書館がないことを憂え、雑誌「東京教育時報」に『東京市立図書館論』を発表。東京市立図書館の必要性や設立・維持方法、日比谷公園での図書施設設立などを提案。'04.3 議会に通俗図書館設立建議を提出して決議にこぎつけた。'06.7.28 市会において建設予算が可決。'08.11 東京市立日比谷図書館設立の契機となった。
'11 内閣より通俗教育調査委員を命ぜられる。'17(T6)私立大橋図書館(三康図書館)館長、'18 日本図書館協会会長を務めた。他に東京市学務委員、秀英舎監査役、早稲田大学評議員舎副舎長を歴任した。'23関東大震災で大橋図書館が全焼し蔵書のすべてが焼失したが、精力的に図書収集を進め、'26 図書館を復興し再開館させた。
青年時代の苦学経験から郷里の新潟県加茂に図書館建設を申請して、図書や金品を寄贈し、'40 加茂町立図書館（加茂市立図書館）の竣工が実現した。同図書館には坪谷善四郎の日記や書簡類等が保存されている。明治から昭和にかけての日本の図書館界において広範で重要な業績を残したことで図書館事業の先覚者と称されている。
無類の旅行好きとして知られ、海外旅行も多く、世界一周旅行もした。これらを随筆、回想集を含めて四十余冊の著書がある。主な著書に『山水行脚』(1914)、『水哉紀行選集』(1933)、編著に『博文館五十年史』(1937)、『大橋佐平翁伝』などがある。
戦時中、東京の自宅は戦争で全焼。郷里の加茂に疎開していたため難を逃れる。疎開時に設立に携わった加茂図書館を訪れその盛況を喜び、疎開の際に携えていたものや、稲毛の別荘に残された書籍等々、半世紀にわたって収集したものを図書館に寄贈した。これらは現存しておりわが国図書館史研究の第一級史料とされている。勲5等。享年86歳。没後、加茂市立図書館後援会が『水哉坪谷善四郎先生傳』(1949)を刊行した。
