Web-агент и кириллица

NickProstoNick · 25.09.2019

Всем привет!
Неделю не могу решить проблему с разбором данных с кириллицей.
Разбор собственно данных не описываю. Проблем с этим нет, если данные целиком на английском
А вот с кириллицей - беда

Что есть:
1. есть IBM-шина, которая дергает web-агент и постит в него JSON.
2. Java-агент на стороне Domino. В агенте получаю документ и сохраняю его.
docRequest = agentContext.getDocumentContext();
В результате сохранения в поле REQUEST_CONTENT получаю фигню

Name	Value
AUTH_TYPE
CONTENT_LENGTH	119
CONTENT_TYPE	application/json; charset=utf-8
Form	REST
GATEWAY_INTERFACE	CGI/1.1
HTTP_ACCEPT	application/json
HTTP_ACCEPT_ENCODING	gzip,deflate
HTTP_CACHE_CONTROL	max-age=259200
HTTP_CONNECTION	keep-alive
HTTP_CONTENT_LENGTH	119
HTTP_CONTENT_TYPE	application/json; charset=utf-8
HTTP_X_FORWARDED_FOR	unknown
HTTPS	OFF
QUERY_STRING	OpenAgent
QUERY_STRING_DECODED	OpenAgent
REMOTE_HOST
REMOTE_IDENT
REMOTE_USER
REQUEST_CONTENT	"Card_PartnerName":"ð┐ðƒð½ðö"
REQUEST_METHOD	POST
SCRIPT_NAME
SERVER_PORT	80
SERVER_PROTOCOL	HTTP/1.1
SERVER_SOFTWARE	Lotus-Domino

Подобрать кодировку никак не получается.
Посылку, которая идет с шины в агент "ловлю" в Fiddler - данные правильные, кириллица читается, а уже в агенте - полная ерунда.
Кто-то сталкивался с такой проблемой?

savl · 25.09.2019

Проверьте настройки сервера:

garrick · 26.09.2019

Может быть агент как-то не так читает поток от шины? Специально кодировку в коде указать не пробовали?

NickProstoNick · 26.09.2019

savl сказал(а):
Проверьте настройки сервера:

Это не помогло.

garrick сказал(а):
Может быть агент как-то не так читает поток от шины? Специально кодировку в коде указать не пробовали?

В шине кодировка указывается принудительно

NickProstoNick · 26.09.2019

Вопрос даже не в шине. От альтернативного REST-клиента так же данные кривые. Вопрос явно в настройке сервера

В общем с настройками сервера ничего не получилось.
Вопрос решился так:

Use IBM's icu4j and icu4j-charset packages - drop them in jvm/lib/ext. Then the code becomes:

byte[] bytes = item.getText().getBytes(CharsetICU.forNameICU("LMBCS"));
String content= new String (bytes, Charset.forName("UTF-8"));
and yes, will need a permission in java.policy:

permission java.lang.RuntimePermission "charsetProvider";

lmike · 29.09.2019

NickProstoNick сказал(а):
and yes, will need a permission in java.policy:

java.pol
иначе с обновлением снесет

Darkhan · 11.10.2019

Всем доброго времени суток. Сам недавно столкнулся с данной траблой. Никакие енкодеры/декодеры мне не помогли. Решил своим челябинским способом

Код:

 %REM

            Function convertLMBCStoUnicode

            Description: Comments for Function

      %END REM

      Public Function convertLMBCStoUnicode(lmbcsTxt As String) As String

         

            Dim lmbcsArray(83) As String, unicodeArray(83) As String

         

            lmbcsArray(0)="ðÉ"

            unicodeArray(0)="А"

            lmbcsArray(1)="Ëÿ"

            unicodeArray(1)="Ә"

            lmbcsArray(2)="ðæ"

            unicodeArray(2)="Б"

            lmbcsArray(3)="ðÆ"

            unicodeArray(3)="В"

            lmbcsArray(4)="ðô"

            unicodeArray(4)="Г"

            lmbcsArray(5)="ÊÆ"

            unicodeArray(5)="Ғ"

            lmbcsArray(6)="ðö"

            unicodeArray(6)="Д"

            lmbcsArray(7)="ðò"

            unicodeArray(7)="Е"

            lmbcsArray(8)="ðü"

            unicodeArray(8)="Ё"

            lmbcsArray(9)="ðû"

            unicodeArray(9)="Ж"

            lmbcsArray(10)="ðù"

            unicodeArray(10)="З"

            lmbcsArray(11)="ðÿ"

            unicodeArray(11)="И"

            lmbcsArray(12)="ðÖ"

            unicodeArray(12)="Й"

            lmbcsArray(13)="ðÜ"

            unicodeArray(13)="К"

            lmbcsArray(14)="ÊÜ"

            unicodeArray(14)="Қ"

            lmbcsArray(15)="ðø"

            unicodeArray(15)="Л"

            lmbcsArray(16)="ð£"

            unicodeArray(16)="М"

            lmbcsArray(17)="ðØ"

            unicodeArray(17)="Н"

            lmbcsArray(18)="Êó"

            unicodeArray(18)="Ң"

            lmbcsArray(19)="ð×"

            unicodeArray(19)="О"

            lmbcsArray(20)="Ë¿"

            unicodeArray(20)="Ө"

            lmbcsArray(21)="ðƒ"

            unicodeArray(21)="П"

            lmbcsArray(22)="ðá"

            unicodeArray(22)="Р"

            lmbcsArray(23)="ðí"

            unicodeArray(23)="С"

            lmbcsArray(24)="ðó"

            unicodeArray(24)="Т"

            lmbcsArray(25)="ðú"

            unicodeArray(25)="У"

            lmbcsArray(26)="Ê░"

            unicodeArray(26)="Ұ"

            lmbcsArray(27)="Ê«"

            unicodeArray(27)="Ү"

            lmbcsArray(28)="ðñ"

            unicodeArray(28)="Ф"

            lmbcsArray(29)="ðÑ"

            unicodeArray(29)="Х"

            lmbcsArray(30)="Ê║"

            unicodeArray(30)="Һ"

            lmbcsArray(31)="ðª"

            unicodeArray(31)="Ц"

            lmbcsArray(32)="ðº"

            unicodeArray(32)="Ч"

            lmbcsArray(33)="ð¿"

            unicodeArray(33)="Ш"

            lmbcsArray(34)="ð®"

            unicodeArray(34)="Щ"

            lmbcsArray(35)="ð¼"

            unicodeArray(35)="Ь"

            lmbcsArray(36)="ð½"

            unicodeArray(36)="Ы"

            lmbcsArray(37)="ðå"

            unicodeArray(37)="І"

            lmbcsArray(38)="ð¬"

            unicodeArray(38)="Ъ"

            lmbcsArray(39)="ð¡"

            unicodeArray(39)="Э"

            lmbcsArray(40)="ð«"

            unicodeArray(40)="Ю"

            lmbcsArray(41)="ð»"

            unicodeArray(41)="Я"

            lmbcsArray(42)="ð░"

            unicodeArray(42)="а"

            lmbcsArray(43)="ËÖ"

            unicodeArray(43)="ә"

            lmbcsArray(44)="ð▒"

            unicodeArray(44)="б"

            lmbcsArray(45)="ð▓"

            unicodeArray(45)="в"

            lmbcsArray(46)="ð│"

            unicodeArray(46)="г"

            lmbcsArray(47)="Êô"

            unicodeArray(47)="ғ"

            lmbcsArray(48)="ð┤"

            unicodeArray(48)="д"

            lmbcsArray(49)="ðÁ"

            unicodeArray(49)="е"

            lmbcsArray(50)="Ðæ"

            unicodeArray(50)="ё"

            lmbcsArray(51)="ðÂ"

            unicodeArray(51)="ж"

            lmbcsArray(52)="ðÀ"

            unicodeArray(52)="з"

            lmbcsArray(53)="ð©"

            unicodeArray(53)="и"

            lmbcsArray(54)="ð╣"

            unicodeArray(54)="й"

            lmbcsArray(55)="ð║"

            unicodeArray(55)="к"

            lmbcsArray(56)="Êø"

            unicodeArray(56)="қ"

            lmbcsArray(57)="ð╗"

            unicodeArray(57)="л"

            lmbcsArray(58)="ð╝"

            unicodeArray(58)="м"

            lmbcsArray(59)="ð¢"

            unicodeArray(59)="н"

            lmbcsArray(60)="Êú"

            unicodeArray(60)="ң"

            lmbcsArray(61)="ð¥"

            unicodeArray(61)="о"

            lmbcsArray(62)="Ë®"

            unicodeArray(62)="ө"

            lmbcsArray(63)="ð┐"

            unicodeArray(63)="п"

            lmbcsArray(64)="ÐÇ"

            unicodeArray(64)="р"

            lmbcsArray(65)="Ðü"

            unicodeArray(65)="с"

            lmbcsArray(66)="Ðé"

            unicodeArray(66)="т"

            lmbcsArray(67)="Ðâ"

            unicodeArray(67)="у"

            lmbcsArray(68)="Ê▒"

            unicodeArray(68)="ұ"

            lmbcsArray(69)="Ê»"

            unicodeArray(69)="ү"

            lmbcsArray(70)="Ðä"

            unicodeArray(70)="ф"

            lmbcsArray(71)="Ðà"

            unicodeArray(71)="х"

            lmbcsArray(72)="Ê╗"

            unicodeArray(72)="һ"

            lmbcsArray(73)="Ðå"

            unicodeArray(73)="ц"

            lmbcsArray(74)="Ðç"

            unicodeArray(74)="ч"

            lmbcsArray(75)="Ðê"

            unicodeArray(75)="ш"

            lmbcsArray(76)="Ðë"

            unicodeArray(76)="щ"

            lmbcsArray(77)="Ðî"

            unicodeArray(77)="ь"

            lmbcsArray(78)="Ðï"

            unicodeArray(78)="ы"

            lmbcsArray(79)="Ðû"

            unicodeArray(79)="і"

            lmbcsArray(80)="Ðè"

            unicodeArray(80)="ъ"

            lmbcsArray(81)="Ðì"

            unicodeArray(81)="э"

            lmbcsArray(82)="ÐÄ"

            unicodeArray(82)="ю"

            lmbcsArray(83)="ÐÅ"

            unicodeArray(83)="я"

         

            convertLMBCStoUnicode = Replace(lmbcsTxt, lmbcsArray, unicodeArray)

      End Function

lmike · 11.10.2019

Darkhan сказал(а):
Всем доброго времени суток. Сам недавно столкнулся с данной траблой. Никакие енкодеры/декодеры мне не помогли

так тоже?

alexas1 · 11.10.2019

Darkhan сказал(а):

Всем доброго времени суток. Сам недавно столкнулся с данной траблой. Никакие енкодеры/декодеры мне не помогли. Решил своим челябинским способом

Код:

 %REM

            Function convertLMBCStoUnicode

            Description: Comments for Function

      %END REM

      Public Function convertLMBCStoUnicode(lmbcsTxt As String) As String

        

            Dim lmbcsArray(83) As String, unicodeArray(83) As String

        

            lmbcsArray(0)="ðÉ"

            unicodeArray(0)="А"

            lmbcsArray(1)="Ëÿ"

            unicodeArray(1)="Ә"

            lmbcsArray(2)="ðæ"

            unicodeArray(2)="Б"

            lmbcsArray(3)="ðÆ"

            unicodeArray(3)="В"

            lmbcsArray(4)="ðô"

            unicodeArray(4)="Г"

            lmbcsArray(5)="ÊÆ"

            unicodeArray(5)="Ғ"

            lmbcsArray(6)="ðö"

            unicodeArray(6)="Д"

            lmbcsArray(7)="ðò"

            unicodeArray(7)="Е"

            lmbcsArray(8)="ðü"

            unicodeArray(8)="Ё"

            lmbcsArray(9)="ðû"

            unicodeArray(9)="Ж"

            lmbcsArray(10)="ðù"

            unicodeArray(10)="З"

            lmbcsArray(11)="ðÿ"

            unicodeArray(11)="И"

            lmbcsArray(12)="ðÖ"

            unicodeArray(12)="Й"

            lmbcsArray(13)="ðÜ"

            unicodeArray(13)="К"

            lmbcsArray(14)="ÊÜ"

            unicodeArray(14)="Қ"

            lmbcsArray(15)="ðø"

            unicodeArray(15)="Л"

            lmbcsArray(16)="ð£"

            unicodeArray(16)="М"

            lmbcsArray(17)="ðØ"

            unicodeArray(17)="Н"

            lmbcsArray(18)="Êó"

            unicodeArray(18)="Ң"

            lmbcsArray(19)="ð×"

            unicodeArray(19)="О"

            lmbcsArray(20)="Ë¿"

            unicodeArray(20)="Ө"

            lmbcsArray(21)="ðƒ"

            unicodeArray(21)="П"

            lmbcsArray(22)="ðá"

            unicodeArray(22)="Р"

            lmbcsArray(23)="ðí"

            unicodeArray(23)="С"

            lmbcsArray(24)="ðó"

            unicodeArray(24)="Т"

            lmbcsArray(25)="ðú"

            unicodeArray(25)="У"

            lmbcsArray(26)="Ê░"

            unicodeArray(26)="Ұ"

            lmbcsArray(27)="Ê«"

            unicodeArray(27)="Ү"

            lmbcsArray(28)="ðñ"

            unicodeArray(28)="Ф"

            lmbcsArray(29)="ðÑ"

            unicodeArray(29)="Х"

            lmbcsArray(30)="Ê║"

            unicodeArray(30)="Һ"

            lmbcsArray(31)="ðª"

            unicodeArray(31)="Ц"

            lmbcsArray(32)="ðº"

            unicodeArray(32)="Ч"

            lmbcsArray(33)="ð¿"

            unicodeArray(33)="Ш"

            lmbcsArray(34)="ð®"

            unicodeArray(34)="Щ"

            lmbcsArray(35)="ð¼"

            unicodeArray(35)="Ь"

            lmbcsArray(36)="ð½"

            unicodeArray(36)="Ы"

            lmbcsArray(37)="ðå"

            unicodeArray(37)="І"

            lmbcsArray(38)="ð¬"

            unicodeArray(38)="Ъ"

            lmbcsArray(39)="ð¡"

            unicodeArray(39)="Э"

            lmbcsArray(40)="ð«"

            unicodeArray(40)="Ю"

            lmbcsArray(41)="ð»"

            unicodeArray(41)="Я"

            lmbcsArray(42)="ð░"

            unicodeArray(42)="а"

            lmbcsArray(43)="ËÖ"

            unicodeArray(43)="ә"

            lmbcsArray(44)="ð▒"

            unicodeArray(44)="б"

            lmbcsArray(45)="ð▓"

            unicodeArray(45)="в"

            lmbcsArray(46)="ð│"

            unicodeArray(46)="г"

            lmbcsArray(47)="Êô"

            unicodeArray(47)="ғ"

            lmbcsArray(48)="ð┤"

            unicodeArray(48)="д"

            lmbcsArray(49)="ðÁ"

            unicodeArray(49)="е"

            lmbcsArray(50)="Ðæ"

            unicodeArray(50)="ё"

            lmbcsArray(51)="ðÂ"

            unicodeArray(51)="ж"

            lmbcsArray(52)="ðÀ"

            unicodeArray(52)="з"

            lmbcsArray(53)="ð©"

            unicodeArray(53)="и"

            lmbcsArray(54)="ð╣"

            unicodeArray(54)="й"

            lmbcsArray(55)="ð║"

            unicodeArray(55)="к"

            lmbcsArray(56)="Êø"

            unicodeArray(56)="қ"

            lmbcsArray(57)="ð╗"

            unicodeArray(57)="л"

            lmbcsArray(58)="ð╝"

            unicodeArray(58)="м"

            lmbcsArray(59)="ð¢"

            unicodeArray(59)="н"

            lmbcsArray(60)="Êú"

            unicodeArray(60)="ң"

            lmbcsArray(61)="ð¥"

            unicodeArray(61)="о"

            lmbcsArray(62)="Ë®"

            unicodeArray(62)="ө"

            lmbcsArray(63)="ð┐"

            unicodeArray(63)="п"

            lmbcsArray(64)="ÐÇ"

            unicodeArray(64)="р"

            lmbcsArray(65)="Ðü"

            unicodeArray(65)="с"

            lmbcsArray(66)="Ðé"

            unicodeArray(66)="т"

            lmbcsArray(67)="Ðâ"

            unicodeArray(67)="у"

            lmbcsArray(68)="Ê▒"

            unicodeArray(68)="ұ"

            lmbcsArray(69)="Ê»"

            unicodeArray(69)="ү"

            lmbcsArray(70)="Ðä"

            unicodeArray(70)="ф"

            lmbcsArray(71)="Ðà"

            unicodeArray(71)="х"

            lmbcsArray(72)="Ê╗"

            unicodeArray(72)="һ"

            lmbcsArray(73)="Ðå"

            unicodeArray(73)="ц"

            lmbcsArray(74)="Ðç"

            unicodeArray(74)="ч"

            lmbcsArray(75)="Ðê"

            unicodeArray(75)="ш"

            lmbcsArray(76)="Ðë"

            unicodeArray(76)="щ"

            lmbcsArray(77)="Ðî"

            unicodeArray(77)="ь"

            lmbcsArray(78)="Ðï"

            unicodeArray(78)="ы"

            lmbcsArray(79)="Ðû"

            unicodeArray(79)="і"

            lmbcsArray(80)="Ðè"

            unicodeArray(80)="ъ"

            lmbcsArray(81)="Ðì"

            unicodeArray(81)="э"

            lmbcsArray(82)="ÐÄ"

            unicodeArray(82)="ю"

            lmbcsArray(83)="ÐÅ"

            unicodeArray(83)="я"

        

            convertLMBCStoUnicode = Replace(lmbcsTxt, lmbcsArray, unicodeArray)

      End Function

)
Ну и правильно, поддерживаю) а то от них ни фига нидаждёсся
Ток так массивы набивать... Бесит, бесит!!!))))
Стринги сплитить компактнее

Все сервисы Codeby

Поиск

Поиск

Web-агент и кириллица

NickProstoNick

Статус как статус :)

savl

garrick

NickProstoNick

Статус как статус :)

NickProstoNick

Статус как статус :)

lmike

нет, пердело совершенство

Darkhan

lmike

нет, пердело совершенство

alexas1