不建议吃胚芽米的原因主要有以下几点：

营养差异并不显著：

胚芽米虽然比普通大米含有更多的营养物质，如蛋白质、维生素B群、矿物质以及少量纤维素等，但这些营养成分在普通大米中也同样存在，只是含量相对较低。因此，从营养角度来看，胚芽米并不是不可替代的选择。通过多样化的食物摄入，同样可以满足人体对营养的需求。

易含致癌物黄曲霉毒素：

黄曲霉毒素是一种极强的致癌物质，其毒性甚至超过砒霜。在稻谷加工过程中，如果胚芽米受到不当的储存或处理，很容易滋生这种有害物质。虽然胚芽米在加工时去除了最外层的谷壳，但并不能完全排除黄曲霉毒素的污染风险。长期食用含有黄曲霉毒素的胚芽米，可能会对人体健康造成潜在威胁。

消化难度相对较大：

胚芽米保留了米的胚芽部分，使得其整体结构相较于精白米更为复杂，在消化过程中，胚芽米需要更多的时间和努力。特别是对于肠胃功能较弱的人群，如老年人、儿童以及消化系统疾病患者等，食用胚芽米可能会加重肠胃负担，导致消化不良、腹胀等症状。

可能导致营养不良：

如果长期食用胚芽米，可能会影响其他食物的摄入，导致身体出现缺乏营养的情况。因为胚芽米虽然营养丰富，但其高纤维含量可能会使人们减少对其他富含营养的食物的摄入。

可能引起过敏和不适反应：

婴儿的消化系统尚未完全发育，胚芽米中的高纤维和蛋白质等成分可能对婴儿的肠道造成负担，导致消化不良、腹胀和腹泻等问题。此外，胚芽米中的某些抗营养物质，如植酸，可能会妨碍矿物质的吸收，导致婴儿缺乏铁、钙等重要营养素。

新鲜度问题：

胚芽米由于保留了胚芽部分，其活性较高，水分也较为充足，因此更容易发霉变质。如果储存或运输条件不佳，可能会导致胚芽米的新鲜度降低，影响其品质和营养价值。

综上所述，虽然胚芽米在营养上具有一定的优势，但由于其易含致癌物黄曲霉毒素、消化难度相对较大以及存在其他潜在风险等原因，不建议将其作为主食大量食用。在日常饮食中，通过多样化的食物摄入，同样可以满足人体对营养的需求。