デフォルトの設定の場合、CharacterColliderを設定した物体はGrabbableがなくとも掴んで登ることが出来てしまう。

Locomotionの設定を変更することでCharacterColliderでかつ掴んで登ることのできない設定を行うことで解決できる。
ただし、このコードの場合すべての物体に対して掴んで登ることが出来なくなるため
登れるものと登れないものを区別したい場合は別の手段が必要。
また、ユーザー毎のLocomotionの取得と設定も必要な為その手段も工夫が必要になる。

やり方についてはわかり次第追記。