こんにちは。仕様ではないと思います。
面倒だと思うので、解決策とは言えないですが一つ。
Esc＞操作（キーボードやパッドの割り当て）＞UIのゲームパッドモード切り替え
この割り当て1に任意のキーを設定しておくと楽です。
inした時にゲームパッドが無効になっていたら、その設定したキーを一つ押すだけでゲームパッドモードに切り替わります。
これはUIをキーボードモードで使いたい時は、そのキーを再度押してキーボードモードに変えたり、またゲームパッドモードに戻したりできます。
ギルドストアや作業台使う時、荷物の確認などに便利です。