小货车撞限高杆是会被扣分的。具体扣分情况如下：

一般情况

货车撞上限高栏，一般会被罚款100元，扣1-3分。

肇事逃逸情况

如果小货车在撞上限高杆后逃逸，将依法受到更严厉的处罚，包括罚款1000元，驾驶证记6分。

在某些情况下，如果造成交通事故后逃逸且尚不构成犯罪，公安机关交通管理部门将处二百元以上二千元以下罚款，并处十五日以下拘留，同时扣12分。

赔偿责任

司机需要承担限高杆损坏的赔偿责任，赔偿金额通常按照损失发生时的市场价格或其他合理方式进行计算。

综上所述，小货车撞限高杆不仅会被扣分，还可能面临罚款和赔偿责任。建议司机在行驶过程中注意遵守交通规则，避免发生交通事故，以免受到更严重的处罚。