1978年，山西师范学院吕梁师专班在汾阳师范创办。山西省计委，省教育局下达招生计划150人，开设三个专业：物理、数学、英语。吕梁地区教育局委派专人负责管理。
1979年，迁到离石，由地区教师进修校代管，开设汉语言文学，数学两个专业，在校生101人，汾阳师范三个专业从1979年冬起，每年报表都由吕梁地区教师进修校汇总上报，行政拨款按单位归属拨款。
1980年，学校在东川河乱石滩上，以春苗包款方式圈住81亩地开辟新校址。制定建校方案，1981年深秋，新校址上第一批学生入学住进。
1984年，吕梁师范专科学校正式建立。6月2日，山西省人民政府（84）晋政函61号文件《关于建立临汾、吕梁师范专科学校的批复》，批准吕梁师范专科学校建校。
1984年，学校颁布校训为“高瞻远瞩，博览多思”，校歌为《我们是创新的一代》，制定了一系列文件，确立了办学指导思想，培养人才规格和改革的内容、目标、方法、步骤、措施。组织实行了十项改革。
1986年10月,吕梁师专新校址建筑面积达2.3万平方米，硬化路面9000平方米，植树1.3万棵。在校教职工235人，在校生770人。已经为社会输送毕业生881人。
1990年，建立吕梁高等专科学校。与吕梁师专合并的吕梁理工专科学校，最早筹建于1985年。山西省人民政府（85）晋政函16号文件，批准吕梁理工专科学校在校生规模为1500人，总建筑面积48600m2，占地面积153亩，总投资1500万元。筹建基本竣工后，吕梁理工专科学校于1989年8月招生，首批新生工业与民用建筑、化学工程两个专业80人入学。
1989年3月2日，山西省人民政府（89）晋政函14号文件《关于将吕梁理工专科学校改由省管》的文件指出：将正在筹建的吕梁理工专科学校改由省教委管理并与吕梁师范专科学校联合办学；联合办学后，理工科办学规模、基建投资不变，部分公共设施与师专统筹共用；两校实行统一领导；作为“吕梁师范专科学校的理工部”，在国家教委正式批准之前暂用“太原工业大学吕梁专科部”的名称。
1989年6月23日，国家教委（89）教计字092号致山西省人民政府《关于同意你省两校合并改办为“吕梁地区高等专科学校”的通知》文件批准，同意吕梁理工专科学校（筹）和吕梁师范专科学校合并改办为吕梁地区高等专科学校，由山西省人民政府领导，省教委主管，属于普通专科学校，内设理工部和师专部，办学规模为1900人，其中理工部1000人，师专部900人。
1989年8月3日，山西省教委，山西省计委，山西省财政厅，山西省人事局，山西省劳动局五个委厅局联合下发晋教计字（1989）13号文件《关于吕梁理工专科学校（筹）和吕梁高等专科学校合并改办为吕梁地区高等专科学校实施中有关问题的通知》文件指出：吕梁理工专科学校自1989年3月2日正式上划省教委直接管理；在领导班子未组建之前，由任元恩、刘辉汉、王兴富三同志先组成临时领导组，实施开展工作。至此，吕梁理工专科学校经历了短短四年的筹建，走上了一条与吕梁师范专科学校合并办学，建设吕梁高等专科学校的新的办学之路。
2000年，学校扩大招生规模，教学质量不断步提高。
2003年，新一届领导班子提出“强校升本”奋斗目标，在省、市各级党委、政府、教育行政主管部门亲切关怀下，决定以吕梁高等专科学校为依托筹建吕梁学院。
2008年，学校通过省教育厅高职高专人才培养工作水平评估并获得优秀。
2009年，投资4.47亿元的千亩新校区一期工程17.5万平方米建设工程基本竣工,学校实现部分搬迁，学校通过教育部专家升本评估验收。2010年1月在教育部专家组南宁会议上，以高票通过升本票决。
2010年，学校升格为本科层次的吕梁学院。5月8日，山西省教育厅下发了晋教发[2010]12号文件《关于转发省政府转发<教育部关于同意在吕梁高等专科学校基础上建立吕梁学院的通知>的通知》的通知》。2010年4月28日，山西省人民政府下发了晋政函[2010]50号文件，《转发<教育部关于同意在吕梁高等专科学校基础上建立吕梁学院的通知>的通知》。2010年3月22日，中华人民共和国教育部下发教发函[2010]26号，《教育部关于同意在吕梁高等专科学校基础上建立吕梁学院的通知》指出：山西省人民政府:你省《关于申请建立吕梁学院的函》（晋政函[2009]98号收悉。根据《高等教育法》和《普通本科学枝设置暂行规定》的有关规定以及全国高等学校设置评议委员会五届四次会议的评议结果，经研究，同意在吕梁高等专科学校基础上建立吕梁学院，学校代码为10812；同时撤销吕梁高等专科学校的建制。文件指出：吕梁学院系本科层次的普通高校，学校应逐步过渡到实施本科教育为主。学校由山西省人民政府统一领导和管理，学校发展所需经费由省统筹解决。首批设置6个本科专业，即：汉语言文学、思想政治教育、数学与应用数学、化学、生物科学、化学工程与工艺。教育部将适时对学校办学情况进行评估。教育部要求：山西省政府要加强对吕梁学院的领导，加大投入力度，不断提高教育质量、科研水平和办学效益。要紧密结合地方和行业发展需要，进一步加强吕梁学院的学科专业建设，为山西省的经济建设和社会发展做出更大贡献。
