ベンダから導入した非Webアプリのシステム（パッケージ型）の性能評価は可能でしょうか？

例えば一般的な性能評価指標となるレスポンスタイム、スループット、ターンアラウンドタイムなどです。
WEBアプリだと、ツールなどもすぐ検索ヒットしますし、やったことなくてもApacheなどへツールを仕込ませることは可能なんだろうなと予想がつくのですが、非Webアプリで、しかも自分が開発していないものとなると、可能なのかどうか、どうやったら可能となるのかわかりません。

不可能だとしたら、代替案があれば助かります。
よろしくお願いします。