http://mo161.soci.ous.ac.jp/@d/DoDStat/DataList/indexj.html
データセット一覧 : DoDStat@d
このようなデータセットはいかがでしょう
また1回答ののRですが、R本体のパッケージ内にデータセットがいくつも組み込まれています。また、主成分分析までであれば上記の講義資料のページが講義と演習がまとまっておりわかりやすいと思います。
1番目のサイトはすばらしいです。あと、Rのパッケージにデータが含まれているとは知りませんでした。1番目の方すみません。
練習用ならこれらのような大学のゼミなどの資料がある程度の説明があっていいかなと思います。
http://www.esri.cao.go.jp/jp/stat/menu.html
ESRI,$BE}7W%a%K%e!<(B
http://www.mof.go.jp/jouhou/syukei/sainyu.htm
国庫歳入歳出状況:財務省
これらのような政府機関が公表している統計データも多数あるのでよいかもしれません。
単純な検索でたくさん出てきます。
他にこのような統計アプリの解説(本)のページなどでもサンプルがあがっているところがあります。
どれもすごいですね。これだけそろえば十分ですので、終了します。
すみません。どこにデータがあるのかわかりませんでした。ただここは参考になりそうなのでありがたいのですが、ほしいのはあくまでデータです。