文字コード総合スレ part8 [sc] | レス927-977

■ このスレッドは過去ログ倉庫に格納されています

1 2012/11/30(金) 13:16:02.46

プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。

■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？　その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/

ここまで見た

927 2014/05/17(土) 00:34:57.36: 毦?厽厸叕忑忐忐臋膐臡娚妕嫏釱?腥觕槀晟猋

ここまで見た

928 2014/05/17(土) 07:02:20.43: Moji_Johoコレクション登録キター
http://unicode-inc.blogspot.jp/2014/05/new-version-of-unicode-ideographic.html

ここまで見た

929 2014/05/23(金) 20:30:12.89: >>899
なんで10日もたってから反応してくれたのか知らないけど一応返事しとくよ。
確かに grep はシフトJIS に対応してなかったけど問題はそこではない。

ここまで見た

930 2014/05/23(金) 22:20:35.88: じゃあ違う所に問題があるってことになるんだが、
それを書かないのはなんで？

ここまで見た

931 2014/05/25(日) 17:43:33.84: シフトJIS のせいだと理解してくれた人もいるのだから充分だと思う。
それ以上書かなかったのは
「自分のブログでやれ！」
というような内容だから。
20年以上も前の極めて個人的な事情を本当に知りたい？

ここまで見た

932 2014/05/25(日) 19:07:02.17: A「シフトJISじゃなくツールの問題」
B「いえ問題はそこじゃない」
A「じゃどこだよ」
B「シフトJISの問題だけど詳細は言えませぬ」

なんかオボカタを彷彿させられたわ

ここまで見た

933 2014/05/25(日) 23:53:20.28: >>869-877を読む限りgrepがウンコだったとしか読めないのだが
マイクロソフトが嫌いな人はなんでもマイクロソフトのせいにしたがるんだろうな

ここまで見た

934 2014/05/26(月) 01:01:24.96: シフトJISって書くのはShift_JISと区別する意図があるという理解でよろしいか

ここまで見た

935 2014/05/26(月) 01:05:37.47: シフと辞す

ここまで見た

936 2014/05/26(月) 04:46:50.66: >>931
氏ね

ここまで見た

937 2014/05/26(月) 06:15:33.67: >>931
小出しにしないで、何がどうしてどうなったのかを１スレで書けるなら書いてもいいよ。

ここまで見た

938 2014/05/26(月) 07:02:01.76: >>934
そらそうだろ
Shift_JISなんて使ってる人は見たことがない

ここまで見た

939 2014/05/26(月) 09:00:03.21: >>931
実に興味深いので、ぜひともうかがいたい

ここまで見た

940 2014/05/26(月) 09:29:56.46: シフトJIS
Shift_JIS
S-JIS
MS932
他もあったと思うが何がちがうん？

ここまで見た

941 2014/05/26(月) 11:51:57.08: あだ名が違うだけなんよ

ここまで見た

942 2014/05/26(月) 12:31:29.88: UTF-8ってバイトストリームのくせになんでBOMなんてものがあるの？

ここまで見た

943 2014/05/26(月) 12:35:07.83: >>942
深謀遠慮の馬鹿の所為。

ここまで見た

944 2014/05/26(月) 12:37:23.58: >943
http://www.w3.org/International/questions/qa-byte-order-mark.en.php

> In the UTF-8 encoding, the presence of the BOM is not essential because,
> unlike the UTF-16 encodings, there is no alternative sequence of bytes in a character.

> However, the BOM may still occur in UTF-8 encoded text, either as a
> by-product of an encoding conversion or because it was added
> by an editor to flag the content as UTF-8.

> In this situation, the BOM is often called a UTF-8 signature.

ということで、UTF-8のBOMは、BOMと似ているバイトデータですが、
BOMという呼び名が気になるなら、UTF-8 signatureと呼びましょう。

ここまで見た

945 2014/05/26(月) 12:42:12.84: なぜUTF-8 signatureがあるかといえば、
文字化け防止ですね。

マルチバイト文字列を使った文書の場合、
UTF-8で書いていても、他の文字コードだと
誤判定する可能性がある。

その可能性まで考慮する場合、つけても
いいということになっています。

そこまで考えるかどうかですね。

ここまで見た

946 2014/05/26(月) 12:57:20.58: >>940
文字集合が違うものがある。

ここまで見た

947 2014/05/26(月) 13:06:36.83: >>946
それはシフトJISの中で
78年とか83年とかって言われるやつ？

ここまで見た

948 2014/05/26(月) 17:54:55.99: MS932なんて明らかに別物じゃない

ここまで見た

949 2014/05/26(月) 18:41:56.31: >>940
シフトJIS:Shift_JISの俗称
Shift_JIS:正式名書　JIS X 0208とかIANAではこれが使われてる
S-JIS:Shift_JISの略称
MS932:MSによるShift_JISの拡張
あってる？

ここまで見た

950 2014/05/26(月) 19:16:08.25: >>944
どこの馬の骨ともわからないサイトを引用して嬉しいか？

ここまで見た

951 2014/05/26(月) 19:17:17.33: >>949
全然ダメ話にならない
安岡に洗脳された？

ここまで見た

952 2014/05/26(月) 19:36:56.51: >>950
www.w3.org だよ。

http://ja.wikipedia.org/wiki/World_Wide_Web_Consortium
> World Wide Web Consortium（ワールド・ワイド・ウェブ・コンソーシアム）は、
> World Wide Webで使用される各種技術の標準化を推進する為に設立された
> 標準化団体、非営利団体。略称はW3C（ダブリュースリーシー）。

ま、知っていて言ってるんだろうけどねｗ

もしかしてw3がUTF-8 signatureを使用しても
いいものとして解説してるの知って悔しかった？
MS独自の仕様とかじゃないんだよｗ

ここまで見た

953 2014/05/26(月) 19:42:54.92: >>952
unicodeの公式はこっちじゃないの？
http://www.unicode.org/
BOMのFAQは
http://www.unicode.org/faq/utf_bom.html

ここまで見た

954 2014/05/26(月) 21:15:37.40: いや、「どこの馬の骨ともわからない」という
無知を馬鹿にしてるだけだからｗ

ここまで見た

955 2014/05/26(月) 21:59:26.38: >>951
正解よろ

ここまで見た

956 2014/05/26(月) 22:20:10.75: >>955
シフトJIS:Windows-31とかShift_JISなどの総称・俗称
S-JIS:シフトJISと同じ
Shift_JIS:シフトJIS系文字コードの一つ。IANAでの正式名称
Windows-31J:シフトJIS系文字コードの一つ。IANAでの正式名称
ms932:Windows-31Jと同じ。俗称

ここまで見た

957 2014/05/26(月) 23:00:00.47: >>956
と言うことは
Shift_JISとWindows-31Jの2種類があるんだね
どのあたりのコード規格が違って2種類なの？
入ってるフォントや文字が違うってのは除いてね

ここまで見た

958 2014/05/26(月) 23:00:05.62: 何も説明してないな

ここまで見た

959 2014/05/26(月) 23:02:22.93: >>957
> 入ってるフォントや文字が違うってのは除いてね

文字コードっていうのは、普通
入っているフォントや文字が違うものなんだけど、
その一番重要な部分を除く理由は何？

ここまで見た

960 2014/05/26(月) 23:13:34.23: >>957
Shift_JISはJIS X 0208文字とJIS X 0201文字を含む
Windows-31Jはさらに「NEC特殊文字」「IBM拡張文字」を含む

ここまで見た

961 2014/05/27(火) 01:20:43.41: >>959
コード体系と文字は別でしょ
Shift_JISでも78年文字とか83年文字とか
最近だと何年まで進んでるのかわからないけど
あと、同じコード位置でも機種依存やOS依存で違うし
これらはコード体系は同じと思ってる
ちがう？

ここまで見た

962 2014/05/27(火) 03:20:26.43: wikipedia貼ってどやとかもう生きていられない次元

ここまで見た

963 2014/05/27(火) 11:43:03.63: >>961
> コード体系と文字は別でしょ
別ではない。昔は厳密に区別されていなかった。

厳密に区別されるようになったのはUNICODEから

ここまで見た

964 2014/05/27(火) 17:40:32.44: >>963
昔って83年以前？
その時点でShiftJISの78規格文字とか83規格文字はあったが
規格はShiftJISだったが
機種依存文字も各社バラバラだったが
文字とコードが一緒だとどうなってたの？
意識してない人も居たってところでしょ

ここまで見た

965 2014/05/27(火) 17:47:14.30: 文字化けというお化けが出る

ここまで見た

966 2014/05/27(火) 18:06:25.64: >>937
ありがとう。書くよ。
エンコーディングの表記は "Shift_JIS" でいい？

grep の件は Shift_JIS だから起こった。
現在なら Shift_JIS に対応しているのを使えばいいと思うかもしれないけど
インターネット以前の時代だ。
パソコン通信はあったけど、そういうのを使える環境ではなかった。
情報は雑誌や書籍が頼りで、ソフトもそれらの付録の
フロッピーディスクが頼りだった。情報弱者だ。
しかし grep の件のような問題が起こらないエンコーディングが
あるということが解る程度には勉強していた。
自分で書くプログラムでは Shift_JIS にも一応は対応したし
海外産のプログラムを改造したこともあるが、それは
Shift_JIS だから必要なわけで、本当はやりたくない。
nkf はあったから、パイプ処理でなんとかなる場合もあるが
MS-DOS ではパイプ処理はあまり使いやすいものではない。
もし、コンソールドライバにエンコーディングを切り替えるオプションがあれば
海外のプログラムを無修正で使えたかもしれないのだが。
Shift_JIS でなければ何も問題は起こらないというわけではない。
grep もそうだ。しかし Shift_JIS でなければ起こらない問題が多すぎる。
つまり、grep が Shift_JIS に対応していないのが悪いのではなく
Shift_JIS を使っているのが不合理だという立場だ。

ここまで見た

967 2014/05/27(火) 19:15:40.23: >grep が Shift_JIS に対応していないのが悪いのではなく
>Shift_JIS を使っているのが不合理

駅に車を違法駐車するひとが
「みんなやってるし取り締まる方が不合理」
と開き直ったような思考だな

ここまで見た

968 2014/05/27(火) 20:37:49.77: >>966
結局シフトJISに対応してない問題しかないじゃないか（呆れ）

ここまで見た

969 2014/05/27(火) 21:12:56.49: 雑誌付録のソフトて大抵日本語対応てか作者日本人だから自然に対応してたよな
VectorがCD-ROMの頃で収録数増やすのにBSDとか海外製のオープンソースものが入ってきてた感じ

ここまで見た

970 2014/05/27(火) 21:27:36.82: MS-DOSの時代にShift_JISなんてあったっけ？
シフトジスが1983年ぐらいとしてShift_JISは1997年じゃないの

ここまで見た

971 2014/05/28(水) 01:03:28.34: x-sjis

ここまで見た

972 2014/05/28(水) 02:31:34.80: PC-8801mk2FR (1985年11月発売)
ttp://121ware.com/support/product/data/spec/cpu/b041-1.html
PC-8801mk2MR (1985年11月発売)
ttp://121ware.com/support/product/data/spec/cpu/b042-1.html

私の記憶が正しければ、少なくともNEC製パソコンに関しては上記2機種以降
(FR/MR/FH/MH/FA/MA/FE/MA2/FE2/MC/VA/VA2/VA3)に標準添付された
N88-日本語BASICで、シフトJISコードが採用されていたはず。(MS-DOS全盛期より前)
実際、私も高校時代にPC-8801mk2FRの実機で日本語BASICをよく使っていたものだ。

それより一体いつの間に「シフトJIS」(シフトジス)と「Shift_JIS」が別物って話になってんだ？
上記のN88-日本語BASICにNEC独自の2バイト文字が一部含まれていたのは確かだったように記憶しているが、
基本的には呼び方が少し異なるだけで同じ文字コードを指すんじゃないのか？