Antes de mais nada, é preciso conhecer o IP do computador pelas propriedades da conexão no computador ou pelo prompt de Comando digitando ipconfig. Depois inseri-lo no navegador para acessar a página web do roteador.
Na página aberta, você verá os campos com os identificadores: nome de usuário e senha (Admin é, geralmente o padrão de ambos). Dependendo do roteador, a alteração da senha pode ser feita nesta mesma interface.
Caso não haja esta opção, busque no menu do lado esquerdo da página, Setting Password, Segurança ou algo parecido e altere os dados que quiser. Não esqueça de salvar as modificações antes de fechar o site do roteador.