詳しいことがわかりませんが、ゲームの配信者が I keep losing people と言っているのなら、この人のゲームをする人がどんどん減っていると言っているのだと思います。
人が物理的にすれ違うと言うのなら to cross paths with someone を使って言えます。
例:
I often cross paths with old friends from high school because we all work downtown.
「高校の旧友たちはみんなダウンタウンで働いているので、彼らとよくすれ違う」
タイミング的にすれ違うと言うなら to keep missing each other を使って言えます。
例:
I've been wanting to get together with an old friend but we keep missing each other every time we arrange to meet.
「旧友に会いたいんだけど、予定を立てるたびに(タイミングが合わず)すれ違ってしまう」
ご参考まで!