Este método elimina el certificado directamente del almacén de Windows, lo que afecta a la mayoría de las aplicaciones que lo utilicen:
Get-ChildItem -Path Cert:\LocalMachine\My | Where-Object $_.Thumbprint -eq "THUMBPRINT_HERE" | Remove-Item
¿Deseas saber también cómo de tu certificado antes de borrarlo definitivamente?