Hbaseのパフォーマンスを測定できる方法を教えていただけますか?

関連した質問は以前、q.hatena.ne.jp/1311908025で質問しましたが、
複数サーバーでHbaseは実施できませんでした。

hstack.orgやresearch.yahoo.comが公開している資料は確認したのですが、
インストールや測定方法が簡易に記載されたものはないと思いますので、
もしご存知であれば教えていただけるとありがたいです。
どのような方法でも構いませんが、パフォーマンスを測定したいというのが
目的になります。

尚、以前質問したスクリプトを動作させたときのエラーの抜粋は以下になります。
[root@sm3-12 Ruby]# ruby hbase_benchmark.rb
user system total real
HBase set/usr/local/lib/ruby/1.9.1/net/http.rb:644:in `initialize': getaddrinfo: Name or service not known (SocketError)
from /usr/local/lib/ruby/1.9.1/net/http.rb:644:in `open'
from /usr/local/lib/ruby/1.9.1/net/http.rb:644:in `block in connect'
from /usr/local/lib/ruby/1.9.1/timeout.rb:44:in `timeout'
          -----------省略-----------

回答の条件
  • 1人5回まで
  • 登録:
  • 終了:2011/08/26 15:50:02
※ 有料アンケート・ポイント付き質問機能は2023年2月28日に終了しました。

ベストアンサー

id:mdfmk No.1

回答回数981ベストアンサー獲得回数197

ポイント200pt

http://www.brianfrankcooper.net/pubs/ycsb-v4.pdf

http://www.brianfrankcooper.net/pubs/ycsb.pdf

こういうベンチマーク結果を見るだけではダメなんでしょうか。


https://github.com/brianfrankcooper/YCSB/wiki

同じ方が作ったベンチマークソフトのコードも公開されているようですが。

id:hiromiarts

mdfmkさん、ご連絡ありがとうございます。

ycsbは以下の"HBase 0.20.3 Client Package Description."がリンク切れになっているようで、実行できませんでした。

https://github.com/brianfrankcooper/YCSB/wiki/Using-the-Database-Libraries


「DB interface layer」の項目で紹介されているコマンドを実行するとエラーになります。

https://github.com/brianfrankcooper/YCSB/wiki/Running-a-Workload

[root@sm3-12 build]# java -cp build/ycsb.jar com.yahoo.ycsb.CommandLine -help

Exception in thread "main" java.lang.NoClassDefFoundError: com/yahoo/ycsb/CommandLine

Caused by: java.lang.ClassNotFoundException: com.yahoo.ycsb.CommandLine

at java.net.URLClassLoader$1.run(URLClassLoader.java:217)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findClass(URLClassLoader.java:205)

at java.lang.ClassLoader.loadClass(ClassLoader.java:321)

at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)

at java.lang.ClassLoader.loadClass(ClassLoader.java:266)

Could not find the main class: com.yahoo.ycsb.CommandLine. Program will exit.


このような状況のため何か簡易に確認できるツールがないかを模索中でした。


現在使用している各サーバーのベンチマークを取得したいと思っているため、

ベンチマークを実施したいと思っています。

2011/08/22 17:51:16
  • id:mdfmk
    余り分かっていなくてすみません。返信有難うございます。

    "HBase 0.20.3 Client Package Description."のURLですが、ver0.20.3のドキュメントがもう無いようなので、ver0.20.4のものでも代用可能でしょうか?


    http://hbase.apache.org/docs/r0.20.4/api/org/apache/hadoop/hbase/client/package-summary.html#package_description
  • id:mdfmk
    http://www.mail-archive.com/user@hbase.apache.org/msg10507.html
    http://www.mail-archive.com/user@hbase.apache.org/msg10489.html

    エラーの件ですが、ここに同じエラーが出て質問している方がおり、
    対処法を返信してくれている人を見つけました。
  • id:hiromiarts
    先ほどのエラーですが、実施するフォルダの階層が間違っていました。。

    教えていただいたURLで紹介されていたURLを参考に一段上のフォルダで実施したところ、
    無事実行できました!!!
    まだ結果の見方がわかってないので調べてみてサーバー台数を変えて変化があるか
    確認してみます。

    ありがとうございます!! 取り急ぎお礼まで。


この質問への反応(ブックマークコメント)

「あの人に答えてほしい」「この質問はあの人が答えられそう」というときに、回答リクエストを送ってみてましょう。

これ以上回答リクエストを送信することはできません。制限について

回答リクエストを送信したユーザーはいません