Mensaje de alerta confirmar con javascript

Hola hola,

queria compartir un codigo para hacer un mensaje de alerta confirmar cuando borremos un post,
eso si el problema:
"es que cuando clickeo en cancelar de todas formas me borra el post, y no me deja en la pagina ".
Si tienen una solucion que creo es sencilla espero, slds:

<script>
function myFunction() {
var x;
if (confirm("Press a button!") == true) {
x = "You pressed OK!";

} else {

x = "You pressed Cancel!";
}
document.getElementById("demo").innerHTML = x;
}
</script>

el htlm:

<p id="demo">

<a href="<?php echo $urlWeb ?>admin/borrar.php?post=<?php echo $row_SacarFavoritos['id_post'] ?>">
<button onclick="myFunction()" >
Borrar
</button>
</a></p>
Editado

hola no necesitas crear una función para hacer este proceso, puedes meter el evento dentro del enlace borrar directamente:

<a onclick="return confirm('Seguro que desea eliminar?');" href="<?php echo $urlWeb ?>admin/borrar.php?post=<?php echo $row_SacarFavoritos['id_post'] ?>"> 
Borrar
</a>

lo único que te faltaría es meterle estilos al a href para que tenga el aspecto de un boton y listo

te dejo un ejemplo en funcionamiento https://jsfiddle.net/gndv7v6t/

gracias Albert, lo reviso ahora, lo que si al abrir ejemplo en chrome me aparece esta alerta adjunto imagen, es problema de configuracion que no me deja abrir esta y otras ventanas?

Gracias

supongo que sera cosa de tu navegador ya que jsfiddle es un dominio bastante conocido ademas así es como lo veo yo:

aun así no hace falta que pruebes la demo solo tienes que copiar el código que te eh dejado antes y probarlo remplazando el tuyo

salu2