刘遂是汉高祖刘邦之孙,赵幽王刘友之子。吕后七年(公元前181年),刘友去世,吕后将侄子吕禄封为赵王。吕后八年(公元前180年),吕后去世,大臣们诛杀吕禄等所有吕氏,于是将刘遂封为赵王。
汉文帝二年(公元前178年),汉文帝割取赵国的河间郡封给刘遂的弟弟刘辟彊,建立河间国,是为河间文王。
汉景帝三年(公元前154年),汉景帝采纳大臣晁错的削藩建议,削减诸侯国的封地,赵国的常山郡便在削减之列。汉景帝的削藩惹怒部分诸侯王,吴王刘濞和楚王刘戊率先起兵反叛朝廷,刘遂就与他们合谋起兵。刘遂的宰相建德、内史王悍劝谏刘遂,刘遂不听,下令烧死建德和王悍,发兵驻守赵国西部边界,想等吴军到来一起西进。向北出使匈奴,与匈奴相通和好进攻汉朝。汉朝派曲周侯郦寄攻击刘遂。刘遂便返回,固守都城邯郸,与汉军相持七个月。吴、楚兵败梁地,不能西进。匈奴听说后,也停止行动,不肯进入汉朝边界。栾布在攻破齐国后回师,于是与郦寄合兵一处引水淹灌邯郸。邯郸城坏,刘遂 ,邯郸于是投降。