从祀孔庙是士大夫阶层的“公”事，“公议”当然是影响从祀的重要因素。问题在于，公议如何产生、如何认定？当公议与主管官的立场冲突时该如何协调？到光绪末年最后一次请祀时，这些问题已经超出士人阶层的道德议论，而成为一种牵涉到制度变革的政治议题。
赵启霖的原折称，天下承学之士对于三儒“咸奉为岱岳斗杓，人无间言”，又在他代都察院作的说帖中说，“既翕然群推为大儒，自不能以一二小疵，谓其不宜跻两庑之列”，而赵启霖所谓“一二小疵”，指的则是“《四库提要》所纠各条”。士人阶层的“翕然群推”，已经能够超越以《四库提要》为代表的官方思想权威而居于从祀理由的首位。
在随后发生的争论中，“公论”的地位被反复强调：协理京畿道监察御史徐定超奏称“诸臣先后奏请三儒从祀，屡议未定，此次会议，谓应从祀者又居多数，可见公道在人，久而弥著”；学部侍郎严修等奏称“当时议驳本非定评，虽钜典之膺犹有所待，而从祀私议见于通人撰述者何可胜举，人心所同，即定论所在”；民政部尚书肃亲王等说帖称“当时廷臣议驳已非众论所推服，此次御史赵启霖复以为言，益可见公论在人，久而未改。即今日再从议驳，将来仍必有升祀之一日……潜德幽光终难湮抑”；内阁中书马士杰说帖称“虽三儒从前曾请从祀，均经议驳，然祀典綦严，在当日不厌求详，公论本待诸后日。今历时既久，或书籍流传既广，或士林私淑已深，崇德报功，久而论定”；胡玉缙的拟奏《拟准御史赵启霖奏请王夫之、黄宗羲、顾炎武从祀孔庙议》至称“今即议驳，他日必有奏请准行者，徒令后人讥前此之迟徊，则窃为当轴者惜之也”，等等。礼部侍郎郭曾炘的奏议，亦劝谏掌权者应当顺从“定论”：
近年以来，世变纷乘，新理日出，而三儒声名益重，几于户诵其说而家有其书，可知学术之显晦，有时非阿好者所得私，亦非忌嫉者所能掩，是以迭经廷议。郭嵩焘、潘祖荫、尚贤等既力争于前，今该御史复申请于后，揆之“庶政公诸舆论”之旨，秩宗祀典亦政要所关，正宜示大道之公，以副士林之望。
只有“副士林之望”，才算得上是“大道之公”，此时的言论，对于“士人公论”已经不再遮遮掩掩。需要特别注意的，郭曾炘将“士论”与清末立宪中“庶政公诸舆论”的原则联系起来，从而为士人公论赋予了政治意义上的“民意”内涵，体现了传统士人意志表达机制的新变化。
本来，官方思想权威，尤其是如钦定书籍这样的官方文本，它实际发生作用的过程和效果是很复杂的，并非如立竿见影般有效。在三儒从祀这个具体的例子中，官方思想权威由于其内在的歧异和多样而被不同阵营的人所引用，其权威性和说服力事实上互相抵消了。像先贤和名臣对于呈请从祀先儒的论赞，就更加具有不确定性：先贤名臣如此之多，评骘之语连篇累牍，根本不可能做到“众口无异词”，论者各取所需，此类引证也难以构成有力的证据。既然这些因素形不成大家都能接受的结论，那么只能由政治权力来做最后的裁决，这也就是光绪十二年（1886）额勒和布等议驳黄、顾从祀奏折中所说的“论说纷歧，必衷诸圣”。
但是，孔庙从祀不仅仅是政治行为，更是确立思想权威、宣示学术风向的学林盛典，因此在历史上一直存在这样一种观念，就是从祀先儒的选择应依据士人的公论来决定，只不过在政治权力的压力之下，官方思想权威的判断成为最重要的从祀标准，士论的地位被压缩到相对次要的地位而已。在晚清，随着政治控制强度的下降，官方思想权威内部也开始出现裂缝，士人公论逐渐崛起，成为影响孔庙从祀的有力因素。
从这个角度观察顾、黄、王三儒从祀孔庙的过程，我们可以说，光绪三十三年、三十四年的最后争论，实际上是士人公论与政治权力的直接博弈。光绪三十四年礼部请将顾炎武从祀孔庙，而黄宗羲、王夫之请旨定夺的覆奏首先指出三儒在士人心中的位置已经确不可移：
求之士论，而道光间两广总督阮元所刊《皇清经解》，首列炎武《左传杜解补正》《易·诗本音》《日知录》诸书，至今年江苏学政王先谦奏刻《经解续编》，以夫之《周易·诗经·春秋·四书稗疏》次炎武《九经误字》之后，而管学大臣张百熙等奏定《京师大学堂章程》，亦以宗羲所辑《宋元·明儒学案》列入伦理科中，似该故儒等著述录于通人达士者，亦已流传不废，盖该故儒等皆有阐明圣学、传授道统之功。
大概是怕朝廷还不明白他的意图，曹元忠在奏折的最后部分再次强调：
经各署堂司开送说帖都二十六件，其主夫之、宗羲、炎武并准从祀者，十居其九。臣等以为，是非听诸天下，固见公论于人心，予夺出于朝廷，尤待折衷于宸断。
这实际上是给清廷出了一个难题：到底是为了政治忌讳而罔顾士论，还是为了顺从士论而破除忌讳？“朝廷”与“公论”、“宸断”与“人心”直接相对，但是，政治权力的“予夺”终不应违背士论的“是非”：这就是这篇奏折的“潜台词”。
自然，这里并不是说，士人公论对政治权力已经具有了强制性的约束力，事实上从祀与否的最终决定权仍牢牢地掌握在最高权力手中，三儒之得以从祀仍要靠张之洞等枢臣的权力干预。尽管前引郭曾炘的奏折已经将“士论”与“民意”联系起来，不过一则由于预备立宪实际并未达到如此之高的民主程度，二则由于“士大夫”也并不就等同于“公民”，因此“士论”对于政治权力来说，仍是一种“软约束”。但是，相对于以前几次请祀的哓哓以《四库提要》或《国史儒林传》为言，斤斤于先贤或名臣的只言片语，光绪三十四年的从祀争论已经清晰地显现出“士论”的意义。相形之下，朝廷本为士林而设的思想权威已经逐渐失去往日的风光。
