Несколько открытых ключей RSA на сервере с одинаковыми данными входа в систему SSH

В моей компании мы используем SSH для доступа к серверу для развертывания проектов через GIT. Мы используем одни и те же данные для входа в SSH для доступа к серверу. Когда я вхожу в систему, мне всегда предлагается ввести пароль RSA для моих коллег:

Enter passphrase for key '/root/.ssh/colleagues_rsa':

Я подумал, создав собственный ключ RSA (без парольной фразы) и связав его с онлайновым репозиторием Git компании (мы используем bitbucket), чтобы обойти эту проблему. Однако мне все равно предлагается вводить парольную фразу моих коллег при каждом использовании git pull,

Как примечание, я использую git@bibucket.org... не https... так что это не должно быть проблемой. Это также влияет только на этот сервер.

Единственный раз, когда я лично получил эту ошибку, был, когда я создал ключ RSA с парольной фразой. В этом ли проблема или я что-то упускаю из-за аутентификации RSA для каждого пользователя?