李卫在历史上辞官的原因主要有以下几点：

避风头：

乾隆皇帝对李卫的态度并不友好，认为他是一个偷奸耍滑之辈。在乾隆微服南巡时，发现一座庙里供着李卫的像，愤怒之下下令销毁所有有李卫像的庙宇。李卫意识到事情不妙，为了避风头，决定辞官回家养老。

乾隆的反感：

乾隆皇帝对李卫的不满和反感，使得李卫感到在朝堂上难以立足。尽管乾隆对李卫的反感并没有威胁到他的性命，但李卫意识到继续留在朝堂上只会更加尴尬和危险。

李卫的主动选择：

李卫深知乾隆皇帝与雍正皇帝的行事为人全然不同，从一开始就决意辞官回乡。他多次请辞，并在每次完成任务后都主动提出辞官，表现出一种无奈和退让的态度。

身体原因：

李卫在乾隆三年就病故了，因此实际上并没有在朝堂上真正辞官，而是因病去世。

综上所述，李卫辞官的原因主要是为了避免乾隆皇帝的不满和反感，以及他个人对官场的不满和选择。尽管乾隆最终同意了他的辞官请求，但李卫在朝堂上的影响力已经大不如前，最终因病去世。