Столкнулся с проблемой долгой авторизации в SSH, причиной того послужил некорректно настроеный DNS, но проблему можно решить поменяв опцию в конфиге sshd_config выставив следующий параметр

UseDNS no

Перезапускаем SSH и радуемся