古い話へのコメントですみませんが、English(UK) を選択したせいではないでしょうか？ Englisk(US) を選択すれば解決すると思います。

英語配列キーボードでも、UKは!”#…. USは!@#…. の並びのようです。UKの方が先に表示されるので、つい選んじゃいますよね。

なんで英語と日本語でこんなにずれるのか疑問に思っていましたが、UK配列を参考にしていたからなんですね。

コメントいただきましてありがとうございます。
念のため、同じように設定手順を進めていただき「英語キーボード（101/102 キー）」に
変わっていることをご確認いただいてもよろしいでしょうか。

もし「英語キーボード（101/102 キー）」になっているようでしたら、
試しに、デバイスマネージャーから、キーボードのドライバを更新するといかがでしょうか。