ssh-agent не кеширует один ключ, а кеширует другой

Я работаю на Mac OS X 10.9.5, и агент ssh работает отлично для двух моих ключей (включая основной, ~/.ssh/id_rsa). Однако для моего ключа AWS он каждый раз запрашивает у меня пароль. Я не уверен почему. Я бы хотел, чтобы он кешировал ключ AWS до перезагрузки, как это происходит с остальными.

Когда я бегу ssh-add -L Я вижу id_rsa и ключ AWS в списке. По какой-то причине он запрашивает парольную фразу id_rsa только один раз после перезагрузки, но запрашивает парольную фразу AWS каждый раз, когда я ее использую.

Изменить: я пытался расшифровать ключ, а затем снова зашифровать его под другим именем, и происходит то же самое.

Я использую SSH для подключения к серверу, и у меня есть хост, настроенный в моем .ssh/config,

Host aws
  HostName ec2-xxx-xxx-xxx-xxx.us-west-1.compute.amazonaws.com
  User ubuntu
  IdentityFile /Users/brent/.ssh/test2.pem
  IdentitiesOnly yes

Тогда команда, которую я использую для подключения ssh aws

Я все еще получаю окно ssh-agent, которое появляется каждый раз, чтобы получить ключевую фразу-пароль.