謝るのもいいと思いますが、この場合、「英語で話すね」や「英語で説明するね」と一緒に伝えてあげると相手も嬉しいと思います。
例
Sorry for speaking Japanese. Now I explain it to you in English.
日本語で話していてごめん。今英語で説明するね。
I’m sorry for speaking so much Japanese.
(日本語ばかり話しちゃってごめんね)。
I’m so sorry ,I need to practice my English, not my Japanese!
(ほんとごめんね、わたしは日本語じゃなく、英語の練習をしないといけないのに！)
Please tell me if I start speaking too much Japanese.
(日本語ばかり話し始めたら教えてね)。
参考に！
Sorry I'm supposed to be speaking English with you, but here I am speaking all this Japanese.
この場合、次のような言い方ができますよ。
ーSorry I'm supposed to be speaking English with you, but here I am speaking all this Japanese.
「あなたと英語を話すはずなのに、日本語ばかり話しているよ」
to speak all this Japanese で「日本語ばかり話す」
ご参考まで！
日本 
アメリカ合衆国 
カナダ 
