公害への補償や、犯罪者の改善へのコストを社会が負担することに、いいしれぬ違和感・不正義感を感じてきました。この「腑に落ちなさ」を人に伝えたいのですがうまい言葉が浮かんできません。

皆様ご回答ありがとうございました。
satosu様、のっかり感謝しております。


質問の意図をつかみきれなかった方もおられるかもしれませんが、要するに社会悪の発生源者が存在するにもかかわらず、その損害補填等を第三者が行わなければならない事態について、発生源者やそのような制度への非難の意味合いをこめた「言葉」が欲しかったのです。
その点で「尻ぬぐい」がもっとも自分の求めていた概念に近いようです。Tskkさんありがとうございました。


ただ、質問文にあげた「公害への補償」はまさに「尻ぬぐい」ですが、後者の矯正コストの負担というのは「尻ぬぐい」とは少し違うものではないか、と考えます。やっぱり質問文が悪い・・・すいません。
今度は後者のケースに絞って、今回のような「言葉集め」をしてみたいですね。

で、後者に限りますと。
id:satosu様からメッセージとしていただいた「泥棒に追い銭」がこれ以上ないほど的確な表現です。
英語の慣用表現では
Throwing good money after bad
というそうです。

実を言うとこの分野は自己の専門分野（になりつつあり）、今後ブログ等でコツコツ考えを深めていきたい所存。
ひとまず年の瀬、回答者の皆様に謝意。