游酢从祀成功以后，“程门四先生”就只余吕大临了。吕大临（1044—1091），字与叔，号芸阁先生，陕西蓝田人。从学于程颐，无意仕进，是关中理学的重要人物。孔祥霖的奏疏递上以后，礼部就将王夫之与吕大临一并考虑了。

光绪二十一年（1895）六月十五日，内阁会议从祀事项，是日翁同龢日记载：“至内阁大堂会议从祀两庑：吕与叔、王船山，吕准、王驳”。语气平静，看来他对这个结果并无意见。

到七月十一日，大学士李鸿章领衔同时递上两份奏疏，一份是准予吕大临从祀孔庙的，一份是否决王夫之的。准予从祀奏疏由大学士及六部九卿列名覆奏，否决的奏疏只说是礼部主稿。

吕大临因为有“程门四先生”名头的加持，以及另外三先生已经从祀的比照，从祀的理由相当充分。原奏、覆奏无非将引用、论赞都胪列一番，请予从祀，位在东庑宋儒谢良佐之次。议覆奏折递上，光绪帝依然拟了一道谕旨，虽然谈不上有若何高深见解，毕竟态度认真，已经超越前此数代帝王。

驳回王夫之的覆奏也必须提出理由。这份覆奏回避了孔祥霖所提出的船山直接横渠道统的说法，指控王夫之“攻驳朱子”，作为他不足称“传授道统”的证据：

即如《读四书大全说》及《四书稗疏》两书，颇多攻驳朱子之处。《读四书大全》内于《章句》《或问》，或曰“朱子之说疏”，或曰“有病”，或曰“有疵”，《四书稗疏》内于《章句集注》所解字句、名物、制度、地理驳斥尤多……若《章句集注》，朱子自言屡经改定，老而不已，古今久为定论，国朝颁之学宫，用以取士，讵可轻议！

攻驳朱子即是有违朝廷功令，有违朝廷功令即不能谓之“传授道统”，这是此篇覆奏的逻辑。不仅如此，覆奏还举王夫之所著《老子衍》、《庄子解》、《庄子通》、《三藏法师八识规知》（当作《三藏法师八识规矩论赞》）诸书，称其“将毋近于张子《正蒙》所谓‘儒佛老庄混然一途’”，这是反用王夫之承继张载的说法，以子之矛、攻子之盾。此外，王夫之还有“《潇湘怨》《愚鼓辞》《龙舟会》杂剧等书，多缘感愤，间涉游戏，更不得谓为无疵”，所以在“臣等公同核议以后”，认为王夫之虽然“志行贞白，著述宏博”，但是“学问尚未能尽臻醇粹”，“未足当阐明圣学、传授道统之目”。

此外，请祀的奏疏中大段引用“先贤名臣之论赞”：

乾嘉以来，硕儒名臣类有论赞：段谔廷称其“集汉宋之大成”；唐鉴作《国朝学案》，列入“翼道”；邓显鹤序刊《遗书》，称其学“以汉儒为门户，以宋五子为堂奥，议论精卓，践履笃实，粹然一轨于正”；曾国荃增刊《遗书》，其兄国藩序称“深閟固藏，以求所谓育物之仁、经邦之礼，穷探极论，千变而不离其宗”；至于吴廷栋以正学受文宗显皇帝之知，与夫之尤有默契，评其遗书，有曰：“先生追踪横渠而深契程朱心源，每因一事一言隐探道要，人读其《通鉴论》，或疑其偏粗矣，即谓其借古以抒忠愤，亦犹浅也，非得程朱心源，不能折衷其用意离合也。”是夫之见推于时贤，又极其至也。

礼部的覆奏则绕过这些话，摭取《四库提要》中的批评，称“臣部曾查取《钦定四库全书提要》著录王夫之各书，如《春秋家说》一种，则谓其攻驳胡《传》而弊与胡《传》等……其《尚书引义》一种，则谓其多臆断之词”，其他各种已采入之书也“亦有穿凿”，至于未经《四库》采入的各种著述，“皆不免纯驳互见”，既然“《四库提要》多所纠绳”，自然“未足当阐明圣学、传授道统之目”，何况“前大学士曾国藩序其《遗书》，亦称‘著述太繁，醇驳互见’”，因此予以驳回。

主从与主驳的双方，在王夫之是否有当于“道统”的问题上，基本上是各说各话：孔祥霖提出的是学派的传承，礼部依据的则是著述的醇驳；孔祥霖提出的是士人公论，礼部依据的则是钦定书籍。不过，在甲午战事的阴影下，此种“不急之务”引不起太大波澜，只经过一个回合就偃旗息鼓了。

在理学的语境下，王夫之确实不如吕大临“纯粹”。礼部和内阁厚此薄彼的选择可谓顺理成章。