Почему говорят «верх неприличия», — а смотрят ниже пояса?

Верх — он же вверху! Что-то где-то там на голове…