杨绘年幼时聪明过人，读书一目五行，名闻西州。进士及第后，通判荆南。以集贤校理为开封推官，遇事迎刃而解，诸吏一天都办不完的事，杨绘不到中午就办得井井有条。仁宗很喜爱他的才能，准备越级提拔他，执政的宰相觉得他太年轻了，不想任用。杨绘便以母老为由，请调任离家较近的眉州一带任职，于是调任兴元府。地方-请杨绘侦破一起-案，杨绘看了看，不像人出入时留下的痕迹，便说；“我明白了。”遂传唤耍猴的人到庭，一经审讯便如实招供。府中上下都佩服他的明断，想犯罪的人都不敢犯罪，狱中竟到了无囚犯可关的地步。
神宗继位，召杨绘修起居注、知制诰、知谏院。诏遣内宫侍从王中正、李舜举等去陕西，杨绘说道：“陛下新即位，天下拭目以观新政。朝中一些闲散-不派遣，为什么独遣宦官？”命传范安抚京东西路，杨绘请神宗调换，以杜绝外戚干预朝政。
执政的宰辅说：“不行，传范常时间担任此职，有政绩，所以才这么安排，并不是因为他是外戚。”皇帝说：“谏官所言极是，任用他们会导致欲望膨胀。”曾公亮请求让他儿子判登闻鼓院，用私交甚厚的曾巩为史官。杨绘反驳说：“曾公亮把持国政，把什么都当成自己家里的东西。据我所知，曾公亮利用职权，强占民田，被郡守处罚，当时曾巩之父也是这样，受到了包庇。如果用曾巩，是为了一己私利。”皇帝没有采纳曾公亮的建议。但杨绘也被解除谏官职务，改兼侍读，杨绘坚辞不受。滕甫将此事告诉了皇帝。皇帝说：“杨绘不畏强权，在朝中没有靠山，能知无不为。我当初一见，对他赞许有加，任命他为谏官，他的威信更高了。今天免去他的职务，是因为他实在是难与宰相抗衡，就让他暂时回避一下，你去把我的意思转告他。”杨绘听后说：“身为谏官，正确的议论又得不到采纳，不当就算了，别的官职也没意思。”就不想担任别的职务。过了不到一个月，又任命他担任谏官、翰林学士、御史中丞。
此时王安
石任宰相，开始变法。在朝多年的-纷纷离去。杨绘言道：“老成之人，不可不惜。当今旧臣多称病离朝：范镇年63岁、吕诲58岁、欧阳修65岁而辞官；富弼68岁而称病告退；司马光、王陶皆50岁而要求到地方任职，陛下难道不考虑他们这样做的原因吗？”又说道：“方今以经术取士，独不用《春秋》，应该让学者以《三传》解经。”
免役法实行以后，杨绘陈述了它的十大害处。王安
石派人解释。杨绘当着皇帝的面固执己见，遂罢为侍读学士、知亳州、应天府、杭州。再为翰林学士。
杨绘多次举荐下属王永年，御史蔡承禧乘机诬告他收受贿赂，杨绘于是被贬荆南节度副使。几个月后又到南京任职，又提举太平观，起知兴-。元祐初（1086)，复天章阁待制，再知杭州。不久亡故。享年62岁。
