李怀仙是柳城（今辽宁朝阳南）胡人，家族世代皆仕契丹，负责守卫营州。李怀仙擅长骑马射箭，思维敏捷有计谋。 天宝十四年（755年），安禄山与史思明起兵反叛，史称安史之乱。当时李怀仙在安禄山帐下担任副将 ，亦随安禄山叛乱。
至德元年（756年），李怀仙与潮复、杨朝宗、谢元同等人率领四万多兵众攻打雍丘，但遭唐军拼死抵抗，李怀仙等人大败逃走。 李怀仙后来跟随安禄山攻陷河洛。安禄山死后，李怀仙追随安禄山之子安庆绪。乾元元年（758年），安庆绪兵败，李怀仙转而投奔史思明。
上元二年（761年），史思明攻陷河南，留其次子史朝清守卫幽州，派阿史那玉、高如震辅佐。同年三月，史思明的长子史朝义杀害父亲史思明，自登帝位，任命李怀仙为燕京留守、范阳尹。 史朝义准备诛杀史朝清，阿史那玉与高如震两将叛变，史朝义任命李怀仙为幽州节度使，派他带兵进入幽州。高如震本打算拒绝不纳，但来不及想出对策，只得出来迎接。李怀仙表现极宽容以安定人心。三天后，李怀仙-众将，斩杀高如震，州部于是平定下来。 上元二年（761年）十二月，当时平卢节度使侯希逸与李怀仙的军队互相攻打多年，救援已经断绝，而且还遭到奚人的侵扰，侯希逸便率领全军二万多人袭击并打败李怀仙。
宝应元年（762年），天下兵马元帅、雍王李适统率回纥诸军大败史朝义，收复东都洛阳（今河南洛阳），史朝义率众渡过黄河向北逃走，李适于是派副元帅仆固怀恩率兵追击史朝义。广德元年（763年）正月，当时叛军势力已经瓦解，当叛军听闻仆固怀恩追来，都望风投降。史朝义率领数千残余兵众准备前往范阳，投奔李怀仙。当时中使骆奉先派人从小路来详细与李怀仙剖析利害祸福，李怀仙于是投降朝廷，并派遣兵马使李抱忠率领三千士兵镇守范阳。史朝义来到范阳，李抱忠关闭城门，不让史朝义进城。这时唐军即将追到，史朝义走投无路，便在树林中上吊 ，李怀仙割取他的头颅，由骆奉先献给朝廷。 当时仆固怀恩想暗中结党以巩固其兵权，于是上表推荐李怀仙可以任用。闰正月十九日，唐代宗任命李怀仙为幽州大都督府长史，检校侍中，幽州、卢龙等军节度使 ，后升任检校兵部尚书，封爵武威郡王。
广德二年（763年），仆固怀恩反叛朝廷之后，边域各处战争不止。当时朝廷正招抚西方之师，所以李怀仙与成德节度使李宝臣（张忠
志）、魏博节度使田承嗣、相卫节度使薛嵩等人得以招回亡散兵卒，各自拥有数万精兵，修缮城邑，训练军队，自己设置文武官将，地方贡赋据为私有，朝廷无法控制。[13-15]
大历三年（768年）六月二十日，李怀仙的部下兵马使朱希彩、经略副使朱泚、朱泚之弟朱滔打算杀害李怀仙，朱泚兄弟杀死门卫进屋，但朱希彩还没来。到天快亮时，朱泚害怕起来，打算逃跑，朱滔说：“计划如果不能成功，只有一死。逃能逃到哪里去？”不一会儿，朱希彩来到，于是他们共同杀害李怀仙及其全家。
