ご質問ありがとうございます。
「目のやり場に」はin your eyeとかin the eyeに訳せると思います。上記に書いているのはよく使っている表現的な文法です。例えば、誰かがヤバイことをする気がする時にThey have a wild look in their eyeと言えます。
「困る」はfrustratedと言います。でも、Takashi様の説明文章で書いている「あっちに行ったり、こっちに行ったりする」に対してfranticの方がぴったりだと思います。
ご参考いただければ幸いです。
この状況を英語で説明する場合には、
"I sometimes don't know where to look." が自然です。文字通り「どこを見ればいいかわからない」となります。
また、会話中ですと、
"I don't know where to focus my eyes." と言うこともできます。
このフレーズでは focus my eyes「目をどこに集中させるか」という表現になり、どこを見ればいいのかを的確に表します。
アメリカ合衆国 
