Não, de forma alguma! A sua senha de 4 dígitos é pra transferência ou pagamentos na maquininha, sem ter acesso ao App ou o cartão novo, não consegue usar ou ter acesso, sobre esse ponto não será preciso se preocupar!
Uma dica que dou é se tiver um celular com a tecnologia NFC, usar as carteiras digitais pra pagamentos e se caso for necessário usar o cartão de crédito, sempre é você que insere, nunca dê na mão de quem quer que seja.