É necessário saber o endereço IP de seu dispositivo. É recomendado ler este tutorial antes de começar a configuração.
Para acessar o site do roteador, digite o IP no seu navegador. Caso não saiba o IP, vá em Executar > CMD e, no Prompt de Comando aberto, digite ipconfig.
Na página aberta, você verá os campos com os identificadores: nome de usuário e senha. Dependendo do roteador a alteração de nome e senha pode ser feita nesta mesma interface. Caso não houver esta opção, busque no menu do lado esquerdo da página, Setting Password ou Segurança ou algo parecido e altere os dados que quiser. Não esqueça de salvar as modificações antes de fechar a página do roteador.