ボタンにテキストではなく、イメージを張り付けるには
Imageプロパティーにビットマップファイルなどの
ファイル名を指定します。

なお、イメージの配置位置は
ImageAlignプロパティーに
位置の列挙体を設定することで変更可能です。

イメージのファイル形式は
ビットマップ(.bmp)の他に
アイコン(.ico)や、PNG、JPG、GIFなどがありますので色々試してみてください。

【補足】
デザイン時からイメージを張り付けたい場合は
Imageプロパティーの…ボタンをクリックし、
目的の画像ファイルを選択してください。

また、イメージのみ表示して
ボタン上のテキストが不要な場合は
Textプロパティーの内容を”"としてください。

例：button1.Text = “”;

// ボタンに張り付けるイメージのファイル名を指定します。
// ファイルが存在しない場合は
// System.IO.FileNotFoundException 例外が発生します。
button1.Image = System.Drawing.Image.FromFile(@"c:\unko.bmp");

// 表示位置は中央
button1.ImageAlign = System.Drawing.ContentAlignment.MiddleCenter;