之所以說紀曉嵐“悲哀”，是因為乾隆對他的評價：“朕以你文學優長，故使領四庫書，實不過以倡優蓄之，爾何妄談國事！”真不知道紀曉嵐當時聽到這句話是何表情何心態？
乾隆對紀曉嵐說這句話的背景是這樣的：內閣學士尹壯圖指陳弊政，稱各省督撫“聲名狼藉，吏治廢弛”。而晚年的乾隆早已陶醉在自我美化的怪圈里，再也聽不進忠言，那些見風使舵的大臣奏議將尹壯圖擬斬。紀曉嵐與尹壯圖之父尹松林為同年進士，因這層關系，紀曉嵐為尹壯圖求情，乾隆勃然大怒罵出他心中的真實想法，稱紀曉嵐“不過當作娼妓一般豢養罷了。”
在民間傳說中，紀曉嵐風流倜儻一表人材，他與乾隆這對君臣的關系是賢明的君主能干的臣子，相互間充滿信任、調侃和幽默。紀曉嵐正直、機智、英俊、灑脫，他與和珅針鋒相對，時時伺機捉弄對手，出他洋相；自己又每每能夠成功避開和珅的報復，整的假亦真時真亦假。
其實，歷史上并非如此，這些故事情節都是人們想當然善意美化的，全屬子虛烏有。據有關資料記載，紀曉嵐真實的形象和民間傳說存在著很大的差異。歷史中真實的紀曉嵐“貌寢短視”。“貌寢”指相貌丑陋；“短視”就是近視眼。這位大學士不光有這些缺點還要加上口吃的毛病，朱珪曾有詩描述紀曉嵐，“河間宗伯姹，口吃善著書。沉浸四庫間，提要萬卷錄。”但客觀地說，紀曉嵐既然能通過各層科舉考試，長相也絕對不是“對不住觀眾”，應該能“過得去”，但紀曉嵐長相不好看卻是無疑的。在乾隆以貌取人的標準下，這些先天不足讓紀曉嵐吃了大虧。
因此，即便紀曉嵐再才華橫溢，他相貌一般般、近視眼、口吃這些“毛病”，是乾隆和紀曉嵐一輩子貌合神離，得不到真正重視的一個重要原因。紀曉嵐難以做乾隆的寵臣、重臣，難以參與重大的政治決策，只能以文字安身立命，只能做乾隆的詞臣。
紀曉嵐曾出任都察院左都御史，因判案不力，部議本應受罰，乾隆卻說：“這次派任的紀曉嵐，本系無用腐儒，只不過是湊個數而已，況且他并不熟悉刑名等事務，又是近視眼他所犯的過錯情有可原。
”一個堂堂學富五車才高八斗的大學士，在他的主子心中竟是個“湊數的腐儒”這般田地，怎能叫人不再說他一次悲哀。紀曉嵐一生中兩次任鄉試考官，六次任會試考官，三次任禮部尚書，這些都是一些無實權的官職，只是大清朝廷花瓶般的擺設而已，是他做詞臣真實際遇的體現。
乾隆皇帝讓紀曉嵐總纂《四庫全書》，只是為了給自己多抹點脂粉，為自己的“文治武功”多弄些噱頭。讓紀曉嵐當總纂，這是因為紀曉嵐在這方面確實有他人無可比擬的才氣，乾隆認為他只能做一些這類的工作，而并不是把他當成獨當一面的重臣。總纂《四庫全書》時紀曉嵐五十歲，他傾注了大量的精力和心血，以自己博大精深的學識、驚人的意志力，對保存和整理我國古代文化遺產做出了巨大貢獻。紀曉嵐在《四庫全書》上經營十三年，親自撰寫了《四庫全書總目提要》，還編寫了《四庫全書簡明目錄》，他一生的榮耀和輝煌在此達到了頂點。
