少数では多数に到底敵（かな）わないということ。
相手にならないこと。
「衆」は多い、「寡」は「少ない」という意味がある。
「多勢に無勢」と同じ意味。