刘存业很小的时候,父亲便去世了,他对母亲极为孝顺。刘存业自幼聪颖不凡,督学张习很敬佩他的才学,认为将来必为天下之士。成化十九年(1483)他乡试夺得第二名,弘治三年(1490)高中榜眼,授翰林编修。当时彗星在天津出现,刘存业奉诏上疏,议论时政,多被采纳。
武宗即位,刘存业充经筵讲官,与修《孝宗实录》,受到皇帝嘉奖,赐与金帛。正德元年(1606)五月,正遇孝宗皇帝去世十三个月,刘存业参加完恭祀于山陵的祭奠活动,回来后便一病不起。儿子刚刚8岁,守候在父亲身旁。刘存业临终还以《实录》未编完,母亲的养育之恩未报,而遗恨万千,言罢即逝,士论惜之。
刘存业的从弟刘存礼检点兄长的家藏,发现所剩金钱无几,不足以为其治办丧事,还是刘存业的门人刘龙出面为其主持丧事,加上乡绅们帮忙,护殡南归。刘存业终年仅47岁。