太原市第二人民医院的历史可追溯到建国初期1954年(位于上马街),其前身为太原市委门诊部,1956年搬迁于新建路桃园一巷门诊部前巷,主要为市委市政府及公费病人服务,1986年改扩建为太原市新建路医院,1988年更名为太原市第二人民医院,1994年被山西省医疗机构评审委员会评为“二级甲等医院”,2000年12月26日新门诊大楼落成,标志着市二院正式面向社会服务。2003年2月被太原市外事办和太原市卫生局定为山西省的一所国际医疗外宾定点医院,2005年取得全国百姓放心医院首批示范医院称号,2008年11月,被山西省卫生厅批准成为山西省中医学院附属(非直属)医院。2009年,注册太原市红十字博爱医院为第二名称。2013年被批准为“太原市老年医院”。
