UTF-8 vs UNICODE

国際uriで文字はどうなるかを調べると、uriのpath（またはhttp要求のパラメータ）には、英文字以外のものは、％エンコーディングされる様だ。

％エンコーディングというのは、文字のエンコーディングを、HEXの文字列のすることだ。

たとえば、「割」が 「%E5%BC%95%」となる。

そして、文字のエンコーディングを調べたら、「割」が0xE5BC95 と該当するだろう
と思ってしまう
 https://www.key-shortcut.com/en/writing-systems/%E3%81%B2%E3%82%89%E3%81%8C%E3%81%AA-japanese

ただ、そうじゃないでしょう、2倍でしょう。

その理由は、この場合の%エンコーディング はUTF-8（そのページによる）。
上記サイトはUTFでなく、Unicodeのコードポイントを定義する。
UTFはそのコードポイントの実装。

https://nbviewer.jupyter.org/gist/guocheng/1ae6c2d76461a66cfc5ec6009b5791d1

https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/


format for 2 byte values (can display 11 bits):
        1110 xxxx  10xx xxxx
       
format for 3 byte values (can display 16 bits):
        1110 xxxx  10xx xxxx  10xx xxxx 

my value of あ
3040    0011 0000 0100 0000‬

           0000‬
        1110 0011  1000 0001  1000 0000‬
       
       
        1110 0011  1000 0001  1000 0000 

Comments

Post a Comment

Popular posts from this blog

しようとしているについて

今週、もう理解したと思った文法を使ってみたら、私の日本語が通じなくて、結構困りました。 何の文法かというと、「～ しようとする」 でした。 英語の意味： （１）be about to （２）try to 困った理由は、その文法は英語で二つの別の意味する文型を、日本語の文形を一つとして表しますからです！私がその一部の意味しかしなかったと思ったから、大変でしたよね 。 その文法は英語では二つの別の意味を持つ表現があります。しかし、日本語では、一つの表現に集約されます。私はその一部の意味しかないと思ったので、大変でした。 この点を分かってきたのは、Hinativeの色んな優しい人のおかげでした。とくにAsaki_Fさんが相変わらず我慢強く対応してくださいました。（でも恥ずかしいことは、、すこしグーグってみると、すぐ分かる　/＿\。ま、スーパー基本的な文法だと思ったから頑固にそうしなかったね） とにかく、Asaki_Fさんがさっき述べた二つの異なる英語表現の違いを、日本語でこう書いてくれました： 「 （１）やりたいことを、今まさにやりかけている（行動を したか／しなかったか の結果が後から付いてくる） = be about to do （２）やってみようとする（"行動した上で"の 成功／失敗 の結果が後から付いてくる） = Trying to do/to attempt to do 」 そこで、理解しないとあかんというのは、上記の（１）か（２）を日本語で言いたい時に、 「しようとする」を使ったら、どうやって二つの一方に偏らせるか？ 考えてみたら、それは下記のことによると思います： 「しようとする」の後の行動は当たり前または普通に安易にできるはずであれば、多分（１）の意味の方が強いう。 一方、その行動は普通に難しいとされたいるなら、（２）の意味のほうが強い気がするな。 それは合っているなら、私が慌てた理由はもっとあきらかになると思う。 私が言おうとしたのは「電車で本を読もうとした」。 私の仮説によると、普段、本を読むのは大したことないはずなので、その文書を普通に読むと（１）の意味しかしない。なので、「電車で本を読もうとした」が（２）の文脈が入っている文章の一部だったら、分かりずらいの...
Read more

シンプソンズで勉強しよう！（第一）

Image
最近、あるビデオにめっちゃはまってまいりました。そのビデオは、シンプソンズの「Steamed Hams」です。Steamed Hamsには英語でも、日本語でも、大好きですが、今日は日本語のバージョンに出る日本語を勉強しようと思います。（ちなみに、当ブログはビデオの前半しか含めなく、 後半はこちらに参照してください ） とりあえず、ビデオを提供しますね： 目立つ単語 ほっぺが落ちる　Delicious (だらかが）きれる　Break/snap 寸前　すんぜん　Be on the verge 嘘八百　うそはっぴゃく loads of lies ーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーーー 台本 よーシーモア来たよ！本音は迷惑だろうがね Seymour I'm here... This lunch is probably nothing more than an inconvenience to you, I'm sure. あ、教育長ようこそ、ほっぺが落ちる お昼をご馳走します Ah welcome, superintendent, I'm going to treat you to a delicious lunch. *溜* あ、なんでことだ！ローストが燃えてしっまた！ 待ってよっ。。。ファストフードを買ってきて手料理を見せかければ。。。ほほほ、我ながら悪魔のような陰謀！ Oh no what happened! The roast is burnt! But if I bought fast food and disguised it as my own cooking...what a devilish plan that would be if I do say so myself. スキナーのおかしな言い訳に教育長はきれる寸前、 スキナーの嘘八百にさあ大げんかが始まるぞ Skinner's crazy explanations will push the superintendent to the brink, and theres sure to be a big fight as a result of his multitude of...
Read more

「社畜のテーマ」を訳してみよう！

Image
こんばんは、お疲れ様です。 最近、新しいユーチューブチャネルを発見して、それに凝ってきた。それは以下のビデオを通してだった。 それ以外のビデオを見たら、あいつらは結構面白いと思った。普段は個人的にただの下品なヒューモアはあんまり認めないが、日本でこれほど露骨で下品なやつらは珍しくて、さわやかだと思うね。 そして、「社畜のテーマ」を訳してみようと思う。だって、英語があったら、聴衆も増えるかな。 とにかく、やるぞ！ ---------------------------------------------------------------------------------------------------------------- 死！に！た！い！ I ! want! to! die!! 明日も仕事  Work again tomorrow 明後日も仕事　 Work again the day after tomorrow 明明後日も仕事　 Work again the day after the day after tomorrow 明明明後日も仕事  Work again the day after the day after the day after tomorrow 毎日毎日俺らは社畜　これじゃ、まるで農家の家畜 I'm a corporate-slave every day, like livestock at a farm 会社に投げ込んでやろうか爆竹 Lets throw a grenade into our companies,  アイム 社畜ブラザース参上！ I'm a corporate slave, lets go visit my bro 俺ら今日も明日も残業　“Industry” これは産業！ Overtime today and tomorrow, that's our livelihood 廃業リストラ首切り上等　家のトイレ パナソかトートー Getting fired because of "restructuring", spend some time ...
Read more