Este método elimina el certificado directamente del almacén de Windows, lo que afecta a la mayoría de las aplicaciones que lo utilicen:

Get-ChildItem -Path Cert:\LocalMachine\My | Where-Object $_.Thumbprint -eq "THUMBPRINT_HERE" | Remove-Item

¿Deseas saber también cómo de tu certificado antes de borrarlo definitivamente?