RegistryKeyクラスを使います。
使い方は値を取得する方とほぼ同じです。

using Microsoft.Win32; を忘れずに

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Microsoft.Win32;  // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // HKEY_CURRENT_USER\Software\hogehoge
            RegistryKey key = Registry.CurrentUser;
            
            // キーを開く
            key = key.OpenSubKey(@"Software\hogehoge", true);

            // 値を削除（第二引数は値が存在しなかった場合に例外を発生させるか否か）
            key.DeleteValue("name", false);

            // 最後は閉じます（このタイミングでフラッシュされるので忘れずに）
            key.Close();
        }
    }
}