rubyを最近勉強し始めた者です。

ハッシュとは異なり、特にRubyにそういう機能があるというわけではありません。

気持ちとしては下記のように書くのと同じです(実際にこう書いても動くかどうかはライブラリによるので知りません)

mail = Mail.new
mail.from = 'from@aaa.aaa'
mail.to = 'to@bbb.bbb'
mail.subject = 'TEST MAIL'
mail.body = 'Hello'

ただ、mailライブラリが頑張って

mail = Mail.new do
  from  'from@aaa.aaa'
  to      'to@bbb.bbb'
  subject 'TEST MAIL'
  body 'Hello'
end

という記法を受け付けるように適切なメソッドを定義しているのです。
おそらくははじめに書いたような記法よりもメールの設定部のくくりが分かりやすいし、何度も"mail."と繰り返すよりも簡潔な為でしょう。
Rubyライブラリではtk標準ライブラリを初めとして、よく見られるAPIデザインです。Martin Fowlerはこの種のデザインを内部DSLと呼んでいます

• http://capsctrl.que.jp/kdmsnr/wiki/bliki/?InternalDslStyle

ライブラリ利用者としては「このライブラリはこういうAPIなのだ」という以上の理解をする必要は必ずしもありません。ただし、参考までに下記にRuby言語の観点からみた実装の仕組みを簡単に説明します。詳しくは『ThoughtWorksアンソロジー ―アジャイルとオブジェクト指向によるソフトウェアイノベーション』などで解説されています。

"to 'to@bbb.bbb'"というのは"to"というメソッドの呼び出しで、このメソッドが呼ばれると引数を宛先として設定するようにmailオブジェクトが定義されています。

また"mail.to"ではなく単に"to"と書けるのはObject#instance_evalの機能を使って実装されています。