Nunca está de mas un toque de paranoia, en especial si te están siguiendo.
Si tenés un servidor Linux expuesto a internet ni hace falta que te diga que el servicio SSH va a ser golpeado incesantemente por bots ejecutando ataques de fuerza bruta por que ya lo habrás notado hace tiempo y la estarás pariendo en carne propia.
Tampoco hace falta que te diga que podés mitigar el 90% de estos ataques automatizados sacando el servicio SSH del puerto 22, implementando fail2ban o autenticación por llaves.
Podrías llevarlo al extremo de lo ridículo inclusive implementando Crypto Port Knoking y asegurarte de enterarte de todo lo que pasa en tu red centralizando los logs en un único servidor syslog, por ejemplo.
Todo este artículo se lee con la música de misión imposible de fondo. Si no la tenés a mano, podés tararearla mentalmente.
Si por otro lado tenés tu PC con Linux o un servidorcito casero que no justifica tamaño gasto de recursos humanos, o tenés un servidor en el que varias personas disponen de credenciales de login, llaves, o permisos en /etc/sudoers para iniciar sesión como root, puede que te interese estar al corriente de quien, cuando y desde donde accedió al mismo como superusuario para saber a quién putear y a quien no cuando las cosas se rompan.