depende, se a pessoa realmente souber SÓ A SENHA, mais nada, então não tem perigo, já que pra você conseguir acessar uma conta bancária você precisa de muito mais validação do que apenas uma senha, mas se ele souber a senha e também informações do seu cartão, aí sim tem perigo. Mesmo se ele não tiver seu cartão, ele pode clona-lo com as informações do seu cartão, nesse caso, o ideal é ir na agência, cancelar seu cartão e criar um novo com uma nova senha.