仲間外れ。
仲間に入れない者。
仲間から遠ざけられた者。

例）
・除け者にされる
・除け者扱い