プログラムで、URLからHTMLのタイトル情報を得たい！最近企業のHPでHTMLソースが暗号化されているものを多く見かけます。はじめは<title></title>の範囲内の文字を取得すれば良いと考えていましたが、暗号化されていることからそのまま取得すると訳のわからない文字列になってしまいます。

Yahoo!オークションのページでは、HTTPヘッダで文字コードが指定されているようです。

HTMLの仕様上、こちらが最優先となります。

1. HTTPにおけるContent-Typeヘッダのcharsetパラメータ

2. HTML文書内のMETA宣言およびhttp-equiv属性で設定された、Content-Typeヘッダのcharsetパラメータ

3. HTML文書内の各要素のcharset属性

Webブラウザが文字コードを判定する基準:iBook G4 Blog

HTTPのヘッダ情報の取得ですが、どのようなAPIを使っているかによります。

WININET APIであれば、以下のように取得できます。

(1)HttpOpenRequest（サーバへのHTTPリクエスト準備）

(2)HttpSendRequest（サーバへのHTTPリクエスト送信）

(3)HttpQueryInfo（サーバからのHTTPレスポンス取得）

(4)InternetReadFile（データの取得）

(5)InternetCloseHandle

MFC I/Fについてはこちら

サンプルはこのあたりでしょうか。

HTTPサーバーからページを受信する

HTTP経由ファイル取得ツール(Visual C++版)

HttpQueryInfoでサーバから受信したHTTPレスポンスヘッダの情報を取得できます。第２パラメータにHTTP_QUERY_CONTENT_TYPEを指定するとContent-Typeフィールドを取得できます。

ただし、HTTPヘッダの情報はHTTP仕様上規定されているものですが、必ずしもすべてのWebサーバが正しい文字コードを返すとは限りません。たいていの場合はあっていますが、間違っている場合や明示されていない場合もありえます。

HTML内のcharset情報は、さらに当てになりません（すべきではありません）。これは、Webサーバにコンテンツをアップロードした後、Webサーバ側が文字コードを勝手に変換してしまう場合があるためです。

一番確実なのは、受信したデータを分析して自分で文字コードを判別することですが、これは難しいですし、EUCやシフトJISの仕様上100%確実に見分ける手段がないため、アルゴリズムが公開されていることはあまりないです。

これは公開されている例。

http://rryu.sakura.ne.jp/nisenise-fuhito/200204.html#2002-04-29

日本語Windowsの環境では、何もしなければシフトJISで記述された文字列を扱うことができます。UTF-8やEUCが使えるようになっている環境は設定上は可能ですが通常はまずありえません。

Windowsの文字コードの扱いは、Unicode(UTF-16)とそれ以外（マルチバイト系）に基本的に分かれます。システムである時点で同時に使えるマルチバイト系文字コードは、１種類のみで、これはシステムロカールにより決定され、コードページと呼ばれます。

日本語Windowsであれば、通常はコードページ932となっており、これは日本語（シフトJIS）の環境が選択されていることを意味します。仕組み上は、UTF-8やEUCをデフォルトコードページとして選択することは可能ですが、一般のアプリケーションはそのような環境で動作できるようにはできていませんので、そのような設定がされている環境は通常はありません。

Unicodeとマルチバイト系の文字コードは、MultiByteToWideChar()またはWideCharToMultiByte()のAPIで相互変換が可能です。

第一引数はコードページを指定するもので、通常はCP_ACPやCP_OEMCPを使っていると思いますが、この場合はデフォルトの932（シフトJIS）が使われます。

第一引数に直接 65001 (UTF-8のコードページ)や、51932 (EUCのコードページ)を指定すると、UTF-8<->Unicode(UTF-16)や、EUC<->Unicodeのコード変換が行えます。