文字コード総合スレ part8 [sc](★0)
-
- 1
- 2012/11/30(金) 13:16:02.46
-
プログラマーなら一度は煩わされたことのある文字コードについてのスレ。
UTF-8、ShiftJIS、JIS、EUC、Uincode、 UCS、サロゲートペア、コードポイント、文字コード判定、
合成文字、ソート、TRON、外字コード、その他について語り合いましょう。
各言語での文字列の扱いについての質問もOKです。
基本マッターリ、ささ、茶でもどうぞ。
■過去スレ
文字コード総合スレ part1 http://pc11.2ch.net/test/read.cgi/tech/1031028205/
文字コード総合スレ part2 http://pc11.2ch.net/test/read.cgi/tech/1143375639/
文字コード総合スレ part3 http://pc11.2ch.net/test/read.cgi/tech/1180250376/
文字コード総合スレ part4 http://pc11.2ch.net/test/read.cgi/tech/1228052369/
（スレ再利用）UnicodeとUTF-8の違いは？ http://pc12.2ch.net/test/read.cgi/tech/1177930957/
（隔離スレ）UnicodeとUTF-8の違いは？ その2 http://pc12.2ch.net/test/read.cgi/tech/1274937437/
文字コード総合スレ part5 http://pc12.2ch.net/test/read.cgi/tech/1236529563/
文字コード総合スレ part6 http://hibari.2ch.net/test/read.cgi/tech/1278923059/
文字コード総合スレ part7 http://toro.2ch.net/test/read.cgi/tech/1306595564/
-
- 923
- 2014/05/14(水) 22:29:58.06
-
サイニーってなんか名前がえろいよね
-
- 924
- 2014/05/15(木) 00:27:38.91
-
>>919 一人で言ってろw
-
- 925
- 2014/05/15(木) 01:21:02.79
-
Excel から Cのdllに文字列を渡すとき、VBAからは
ByVal as String を渡して C側で LPCSTR で受け取るのがパターンだけど、
ワークシートから直接呼ぶ場合はC側は BSTR等 で受けなきゃいけない。
そこで C側は BSTR に統一しておいて、VBAからは
StrConv( xxx, vbUnicode) をかましてやればいいことが分かった。
ところが、StrConv("まみむめも", vbUnicode) を渡したら化ける。
ひらがなだと"め"以降が、かたかなだと"ム"以降がダメなようだ。
-
- 926
- 2014/05/15(木) 23:22:03.55
-
http://ci.nii.ac.jp/ncid/BN13621753
大漢和辞典
諸橋轍次著
藍燈文化事業股份有限公司, 1992.6
修訂版 / 鎌田正, 米山寅太郎修訂
出版地：台北
大学図書館所蔵 2件
実践女子大学 図書館
函館大谷短期大学 図書館
-
- 927
- 2014/05/17(土) 00:34:57.36
-
毦?厽厸叕忑忐忐臋膐臡娚妕嫏釱?腥觕槀晟猋
-
- 928
- 2014/05/17(土) 07:02:20.43
-
Moji_Johoコレクション登録キター
http://unicode-inc.blogspot.jp/2014/05/new-version-of-unicode-ideographic.html
-
- 929
- 2014/05/23(金) 20:30:12.89
-
>>899
なんで10日もたってから反応してくれたのか知らないけど一応返事しとくよ。
確かに grep はシフトJIS に対応してなかったけど問題はそこではない。
-
- 930
- 2014/05/23(金) 22:20:35.88
-
じゃあ違う所に問題があるってことになるんだが、
それを書かないのはなんで？
-
- 931
- 2014/05/25(日) 17:43:33.84
-
シフトJIS のせいだと理解してくれた人もいるのだから充分だと思う。
それ以上書かなかったのは
「自分のブログでやれ！」
というような内容だから。
20年以上も前の極めて個人的な事情を本当に知りたい？
-
- 932
- 2014/05/25(日) 19:07:02.17
-
A「シフトJISじゃなくツールの問題」
B「いえ問題はそこじゃない」
A「じゃどこだよ」
B「シフトJISの問題だけど詳細は言えませぬ」
なんかオボカタを彷彿させられたわ
-
- 933
- 2014/05/25(日) 23:53:20.28
-
>>869-877を読む限りgrepがウンコだったとしか読めないのだが
マイクロソフトが嫌いな人はなんでもマイクロソフトのせいにしたがるんだろうな
-
- 934
- 2014/05/26(月) 01:01:24.96
-
シフトJISって書くのはShift_JISと区別する意図があるという理解でよろしいか
-
- 935
- 2014/05/26(月) 01:05:37.47
-
シフと辞す
-
- 936
- 2014/05/26(月) 04:46:50.66
-
>>931
氏ね
-
- 937
- 2014/05/26(月) 06:15:33.67
-
>>931
小出しにしないで、何がどうしてどうなったのかを１スレで書けるなら書いてもいいよ。
-
- 938
- 2014/05/26(月) 07:02:01.76
-
>>934
そらそうだろ
Shift_JISなんて使ってる人は見たことがない
-
- 939
- 2014/05/26(月) 09:00:03.21
-
>>931
実に興味深いので、ぜひともうかがいたい
-
- 940
- 2014/05/26(月) 09:29:56.46
-
シフトJIS
Shift_JIS
S-JIS
MS932
他もあったと思うが何がちがうん？
-
- 941
- 2014/05/26(月) 11:51:57.08
-
あだ名が違うだけなんよ
-
- 942
- 2014/05/26(月) 12:31:29.88
-
UTF-8ってバイトストリームのくせになんでBOMなんてものがあるの？
-
- 943
- 2014/05/26(月) 12:35:07.83
-
>>942
深謀遠慮の馬鹿の所為。
-
- 944
- 2014/05/26(月) 12:37:23.58
-
>943
http://www.w3.org/International/questions/qa-byte-order-mark.en.php
> In the UTF-8 encoding, the presence of the BOM is not essential because,
> unlike the UTF-16 encodings, there is no alternative sequence of bytes in a character.
> However, the BOM may still occur in UTF-8 encoded text, either as a
> by-product of an encoding conversion or because it was added
> by an editor to flag the content as UTF-8.
> In this situation, the BOM is often called a UTF-8 signature.
ということで、UTF-8のBOMは、BOMと似ているバイトデータですが、
BOMという呼び名が気になるなら、UTF-8 signatureと呼びましょう。
-
- 945
- 2014/05/26(月) 12:42:12.84
-
なぜUTF-8 signatureがあるかといえば、
文字化け防止ですね。
マルチバイト文字列を使った文書の場合、
UTF-8で書いていても、他の文字コードだと
誤判定する可能性がある。
その可能性まで考慮する場合、つけても
いいということになっています。
そこまで考えるかどうかですね。
-
- 946
- 2014/05/26(月) 12:57:20.58
-
>>940
文字集合が違うものがある。
-
- 947
- 2014/05/26(月) 13:06:36.83
-
>>946
それはシフトJISの中で
78年とか83年とかって言われるやつ？
-
- 948
- 2014/05/26(月) 17:54:55.99
-
MS932なんて明らかに別物じゃない
-
- 949
- 2014/05/26(月) 18:41:56.31
-
>>940
シフトJIS:Shift_JISの俗称
Shift_JIS:正式名書 JIS X 0208とかIANAではこれが使われてる
S-JIS:Shift_JISの略称
MS932:MSによるShift_JISの拡張
あってる？
-
- 950
- 2014/05/26(月) 19:16:08.25
-
>>944
どこの馬の骨ともわからないサイトを引用して嬉しいか？
-
- 951
- 2014/05/26(月) 19:17:17.33
-
>>949
全然ダメ話にならない
安岡に洗脳された？
-
- 952
- 2014/05/26(月) 19:36:56.51
-
>>950
www.w3.org だよ。
http://ja.wikipedia.org/wiki/World_Wide_Web_Consortium
> World Wide Web Consortium（ワールド・ワイド・ウェブ・コンソーシアム）は、
> World Wide Webで使用される各種技術の標準化を推進する為に設立された
> 標準化団体、非営利団体。略称はW3C（ダブリュースリーシー）。
ま、知っていて言ってるんだろうけどねｗ
もしかしてw3がUTF-8 signatureを使用しても
いいものとして解説してるの知って悔しかった？
MS独自の仕様とかじゃないんだよｗ
-
- 953
- 2014/05/26(月) 19:42:54.92
-
>>952
unicodeの公式はこっちじゃないの？
http://www.unicode.org/
BOMのFAQは
http://www.unicode.org/faq/utf_bom.html
-
- 954
- 2014/05/26(月) 21:15:37.40
-
いや、「どこの馬の骨ともわからない」という
無知を馬鹿にしてるだけだからｗ
-
- 955
- 2014/05/26(月) 21:59:26.38
-
>>951
正解よろ
-
- 956
- 2014/05/26(月) 22:20:10.75
-
>>955
シフトJIS:Windows-31とかShift_JISなどの総称・俗称
S-JIS:シフトJISと同じ
Shift_JIS:シフトJIS系文字コードの一つ。IANAでの正式名称
Windows-31J:シフトJIS系文字コードの一つ。IANAでの正式名称
ms932:Windows-31Jと同じ。俗称
-
- 957
- 2014/05/26(月) 23:00:00.47
-
>>956
と言うことは
Shift_JISとWindows-31Jの2種類があるんだね
どのあたりのコード規格が違って2種類なの？
入ってるフォントや文字が違うってのは除いてね
-
- 958
- 2014/05/26(月) 23:00:05.62
-
何も説明してないな
-
- 959
- 2014/05/26(月) 23:02:22.93
-
>>957
> 入ってるフォントや文字が違うってのは除いてね
文字コードっていうのは、普通
入っているフォントや文字が違うものなんだけど、
その一番重要な部分を除く理由は何？
-
- 960
- 2014/05/26(月) 23:13:34.23
-
>>957
Shift_JISはJIS X 0208文字とJIS X 0201文字を含む
Windows-31Jはさらに「NEC特殊文字」「IBM拡張文字」を含む
-
- 961
- 2014/05/27(火) 01:20:43.41
-
>>959
コード体系と文字は別でしょ
Shift_JISでも78年文字とか83年文字とか
最近だと何年まで進んでるのかわからないけど
あと、同じコード位置でも機種依存やOS依存で違うし
これらはコード体系は同じと思ってる
ちがう？
-
- 962
- 2014/05/27(火) 03:20:26.43
-
wikipedia貼ってどやとかもう生きていられない次元
-
- 963
- 2014/05/27(火) 11:43:03.63
-
>>961
> コード体系と文字は別でしょ
別ではない。昔は厳密に区別されていなかった。
厳密に区別されるようになったのはUNICODEから
-
- 964
- 2014/05/27(火) 17:40:32.44
-
>>963
昔って83年以前？
その時点でShiftJISの78規格文字とか83規格文字はあったが
規格はShiftJISだったが
機種依存文字も各社バラバラだったが
文字とコードが一緒だとどうなってたの？
意識してない人も居たってところでしょ
-
- 965
- 2014/05/27(火) 17:47:14.30
-
文字化けというお化けが出る
-
- 966
- 2014/05/27(火) 18:06:25.64
-
>>937
ありがとう。書くよ。
エンコーディングの表記は "Shift_JIS" でいい？
grep の件は Shift_JIS だから起こった。
現在なら Shift_JIS に対応しているのを使えばいいと思うかもしれないけど
インターネット以前の時代だ。
パソコン通信はあったけど、そういうのを使える環境ではなかった。
情報は雑誌や書籍が頼りで、ソフトもそれらの付録の
フロッピーディスクが頼りだった。情報弱者だ。
しかし grep の件のような問題が起こらないエンコーディングが
あるということが解る程度には勉強していた。
自分で書くプログラムでは Shift_JIS にも一応は対応したし
海外産のプログラムを改造したこともあるが、それは
Shift_JIS だから必要なわけで、本当はやりたくない。
nkf はあったから、パイプ処理でなんとかなる場合もあるが
MS-DOS ではパイプ処理はあまり使いやすいものではない。
もし、コンソールドライバにエンコーディングを切り替えるオプションがあれば
海外のプログラムを無修正で使えたかもしれないのだが。
Shift_JIS でなければ何も問題は起こらないというわけではない。
grep もそうだ。しかし Shift_JIS でなければ起こらない問題が多すぎる。
つまり、grep が Shift_JIS に対応していないのが悪いのではなく
Shift_JIS を使っているのが不合理だという立場だ。
-
- 967
- 2014/05/27(火) 19:15:40.23
-
>grep が Shift_JIS に対応していないのが悪いのではなく
>Shift_JIS を使っているのが不合理
駅に車を違法駐車するひとが
「みんなやってるし取り締まる方が不合理」
と開き直ったような思考だな
-
- 968
- 2014/05/27(火) 20:37:49.77
-
>>966
結局シフトJISに対応してない問題しかないじゃないか（呆れ）
-
- 969
- 2014/05/27(火) 21:12:56.49
-
雑誌付録のソフトて大抵日本語対応てか作者日本人だから自然に対応してたよな
VectorがCD-ROMの頃で収録数増やすのにBSDとか海外製のオープンソースものが入ってきてた感じ
-
- 970
- 2014/05/27(火) 21:27:36.82
-
MS-DOSの時代にShift_JISなんてあったっけ？
シフトジスが1983年ぐらいとしてShift_JISは1997年じゃないの
-
- 971
- 2014/05/28(水) 01:03:28.34
-
x-sjis
-
- 972
- 2014/05/28(水) 02:31:34.80
-
PC-8801mk2FR (1985年11月発売)
ttp://121ware.com/support/product/data/spec/cpu/b041-1.html
PC-8801mk2MR (1985年11月発売)
ttp://121ware.com/support/product/data/spec/cpu/b042-1.html
私の記憶が正しければ、少なくともNEC製パソコンに関しては上記2機種以降
(FR/MR/FH/MH/FA/MA/FE/MA2/FE2/MC/VA/VA2/VA3)に標準添付された
N88-日本語BASICで、シフトJISコードが採用されていたはず。(MS-DOS全盛期より前)
実際、私も高校時代にPC-8801mk2FRの実機で日本語BASICをよく使っていたものだ。
それより一体いつの間に「シフトJIS」(シフトジス)と「Shift_JIS」が別物って話になってんだ？
上記のN88-日本語BASICにNEC独自の2バイト文字が一部含まれていたのは確かだったように記憶しているが、
基本的には呼び方が少し異なるだけで同じ文字コードを指すんじゃないのか？
-
- 973
- 2014/05/28(水) 06:56:42.97
-
いやShift_(アンダースコア)JISだけは別格のキワモノ
このページを共有する
おすすめワード