まず参照設定に Microsoft.VisualBasic.dll を追加します。

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Text;
using System.Windows.Forms;
using Microsoft.VisualBasic.FileIO; // これを追加

namespace WindowsFormsApplication1
{
    public partial class Form1 : Form
    {
        public Form1()
        {
            InitializeComponent();
        }

        private void button1_Click(object sender, EventArgs e)
        {
            FileSystem.DeleteFile(
              @"c:\temp\hogehoge.dat",          // ごみ箱に捨てるファイル名
              UIOption.OnlyErrorDialogs,        // ファイル移動中のダイアログはエラーのみ
              RecycleOption.SendToRecycleBin);  // ごみ箱に送る
        }
    }
}