RegistryKeyクラスを使います。
使い方は値を取得する方とほぼ同じです。

DeleteSubKey関数を使いますが
削除したいサブキーがさらにサブキーを含む階層の場合、これは失敗します。
サブキーを含むサブキーを階層もろとも削除したい場合は
DeleteSubKeyTree関数を使います。

using Microsoft.Win32; を忘れずに

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Microsoft.Win32;  // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // HKEY_CURRENT_USER\Software\hogehogeサブキーを削除するサンプルです
            RegistryKey key = Registry.CurrentUser;
            
            // キーを開く
            key = key.OpenSubKey(@"Software", true);

            // サブキーを指定して削除（削除するサブキーにさらにサブキーがある場合は失敗します）
            //key.DeleteSubKey("hogehoge");

            // サブキーを含むサブキーを削除したい場合はこちら
            key.DeleteSubKeyTree("hogehoge");

            // 最後は閉じます（このタイミングでフラッシュされるので忘れずに）
            key.Close();
        }
    }
}

RegistryKeyクラスを使います。
使い方は値を取得する方とほぼ同じです。

using Microsoft.Win32; を忘れずに

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Microsoft.Win32;  // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // HKEY_CURRENT_USER\Software\hogehoge
            RegistryKey key = Registry.CurrentUser;
            
            // キーを開く
            key = key.OpenSubKey(@"Software\hogehoge", true);

            // 値を削除（第二引数は値が存在しなかった場合に例外を発生させるか否か）
            key.DeleteValue("name", false);

            // 最後は閉じます（このタイミングでフラッシュされるので忘れずに）
            key.Close();
        }
    }
}

RegistryKeyクラスを使います。
使い方は値を取得する方とほぼ同じです。

using Microsoft.Win32; を忘れずに

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Microsoft.Win32;  // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // HKEY_CURRENT_USER\Software\hogehoge
            RegistryKey key = Registry.CurrentUser;
            
            // キーを作成。既にあるならそれを開く
            key = key.CreateSubKey(@"Software\hogehoge");

            // 値を設定
            key.SetValue("name", "ほげほげ", RegistryValueKind.String); // REG_SZ
            key.SetValue("length", 123, RegistryValueKind.DWord);       // REG_DWORD

            // 最後は閉じます（このタイミングでフラッシュされるので忘れずに）
            key.Close();
        }
    }
}

RegistryKeyクラスを使います。
以下のサンプルを実行する前に
あらかじめレジストリエディタを開いて
HKEY_CURRENT_USER\Software\hogehoge
に
REG_SZ（文字列）のname
REG_DWORD（数値）のlength
の２つの値を書き込んでおいてください。

なお、GetValue関数の第二引数は
値が存在しなかった場合のデフォルト値です。

using Microsoft.Win32; を忘れずに

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Microsoft.Win32;  // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            // HKEY_CURRENT_USER\Software\hogehoge をオープン
            RegistryKey key = Registry.CurrentUser;
            key = key.OpenSubKey(@"Software\hogehoge");

            // 値を取得
            string value = (string)key.GetValue("name", "設定がありません");

            // 値の型を確認してから取得
            int length = 0;
            RegistryValueKind kind = key.GetValueKind("length");
            if (kind == RegistryValueKind.DWord)
            {
                length = (int)key.GetValue("length", 100);
            }

            // 最後は閉じます
            key.Close();

            MessageBox.Show(value + length.ToString());
        }
    }
}