Sobre isso, não. @FelipeMoraes já deu excelentes dicas a respeito, o perigo realmente estaria se tivesse continuado a ligação e até ter seguido com o que os golpistas pedissem como transferir valores ou até baixar algum aplicativo (que aí onde está o maior perigo, já que isso pode contaminar o seu dispositivo).
Vou deixar o trecho do artigo de um site que explica sobre o perigo desse tipo de golpe, ademais é seguir o que o Nubank te orientou e ficar em alerta que esse golpe tem ficado muito comum. 
