東京新宿出身。小島鎌太郎・みの(共に同墓)の六男。父親の事業の失敗から生活苦となり小学校を中退し丁稚奉公、御用聞きをして一家を支える。
青年時代は兄が行方不明、妹のすぎ(同墓)が殺害され('10)、翌年両親が相次いで没し('11)、極貧の中、不遇の時期を過ごす。
絵が得意であり、偶然の出会いから陸軍大将の中村覚(22-1-27)の書生となり、本格的に画家を志した。大久保の中村邸から、太平洋画会研究所に通いデッサンの勉強をした。
勉強仲間に中村彝もいた。その後、日本美術院、葵橋洋画研究所でも学び、安井曾太郎に師事。
1918(T7)二科展に入選。'21野村證券社長の野村徳七の支援によりフランスに留学して、ゲランに学び、16世紀ヴェネツィア派の古典絵画に惹かれる。
'23サロン-ドートンヌに入選。'25帰国。'30(S5)里見勝蔵、前田寛治、佐伯祐三、木下孝則らと1930年協会を結成したが、里見の離脱、前田、佐伯の死により発展的解消となり、新しく独立美術協会を設立し、'31より「独立展」を開催(現在も続く)して画壇に新風を巻き起こした。
'32より南多摩郡加住村(八王子市)に移り住み、多摩・武蔵野の風景画を多く描いた。画風はフォーヴィスムの温和な日本的消化である。
同時期に活躍した画家の児島善三郎とよく名前を間違えられることから、小島善太郎はサインを「Z.Kojima」、児島善三郎が「Z.Z.Kojima」としていた。
'71百草園の近くにアトリエを構える。梅林、桃園、桜並木などを描く。代表作に「林中小春日」「三多摩の秋景」「百草梅林春の団欒」「滝山城趾より多摩川を望む(滝山展望)」など多数。遺作は没年に描いた「ラリーシュと老画家」である。
八王子市内で子供たちに絵の指導を行い、小島善太郎を囲む会「愛善会」で地域との交流も深めた。著作に『巴里(パリ)の微笑』がある。
没後、'92(H4)小島敦子・小島惇(同墓)編にて『桃李不言 画家小島善太郎随想集・小島善太郎の思い出』が刊行されている。享年91歳。
青梅市立美術館と併設で青梅市立小島善太郎美術館がある。2005(H17)八王子市夢美術館で「小島善太郎展」が開催された。