既にローカルのGitのデフォルト設定をmainに変更したので今後自分はあまり必要なさそうだけど、一応手順メモ。
注意!:あくまで「自分はこうやってるー」というメモ書きなので、本番運用中または複数人で運用しているリポジトリの場合はもろもろ確認してから進めてくださいませ。
変更手順
ローカルのmasterブランチ名をmainに変更
git branch -m master main
ローカルのmainブランチをリモートにpush
ブランチ名が変更できたらリモートにpushする。
git push -u origin main
リモート上では以下のように一時的にmasterとmain両方のブランチが存在することになる。

リモートのデフォルトブランチをmainに変更
Settings > Branches > Default branch と進み、⇄アイコンを押す。(隣のペンマークはリネームしたいときに使う)

mainを選択してUpdate。

本当に良い?的なのが出るので、問題なければポチッと押す。これでデフォルトがmainになる。

リモートのmasterブランチを削除
リポジトリのトップからブランチのページに進み、不要になったmasterブランチを削除。

これでリモートの作業は終了。
ローカルのリモート追跡ブランチを更新
リモートのmasterを追跡する必要がなくなったので、ローカルでfetchしてorigin/masterを削除する。
git fetch -p
VSCodeのGit Grapshの場合、下記のようにorigin/masterが表示されなくなっていればOK。

これで完了です。