Суп из LLM топора


Вы здесь: Авторские колонки FantLab > Авторская колонка «kdm» > Суп из LLM-топора
Поиск статьи:
   расширенный поиск »

Суп из LLM-топора

Статья написана 24 января 18:12

В одной из тем на фантлабе уже некоторое обсуждают возможность переводить художественные тексты нейросетью. Сразу оговорюсь, что меня не интересуют экзотические случаи: вы непременно хотите прочесть текст, написанный на языке, которого не знаете (хотите – читайте, кто я, чтобы вас отговаривать?), и проч. Мне было интересно, можно ли использовать нейросетевой перевод как черновик, для преодоления боязни чистого листа и так далее. По моим экспериментам и по тому, что показывают в той теме, вывод получается такой: на сегодня нейросетки переводят как плохой человеческий переводчик. Люди, конечно, и хуже умеют, но в сортах этого самого разбираться не обязательно. Понятно, что это огромный прорыв и все такое, но если вернуться к практической задаче, о которой уже задумываются некоторые издатели: можно ли удешевить и ускорить процесс, если переводить нейросеткой, а потом отдавать редактору, который доведет результат до ума? – то ответ: не стоит. Переписать можно и человеческий перевод любой степени кошмарности, и современный нейросетевой, но, честное слово, суп из топора, сколько хороших продуктов в него ни положи, будет отдавать деревяшкой и ржавчиной. Проще суп сразу начинать с мяса и картошки, а топором дрова колоть и так далее.

А теперь камингаут – я пользуюсь ИИ (преимущественно гугловским). Главным образом когда нужно распутать что-нибудь техническое. Допустим, мои герои собирают «томми-ган». Томпсоны в СССР поставляли по лендлизу, в инете есть инструкции по их сборке – разборке на русском, но чересчур подробные. И вот тут попросить ИИ: «объясни, что делают в этом отрывке» – работает действительно быстрее, чем разбираться с инструкцией. А уже примерно поняв, что происходит, я заполировала это дело просмотром ютубовского ролика (два дядьки разбирают и собирают «томми», рассказывая про каждую деталь с любовными интонациями Дроздова, держащего в руках рептилию). И всего-то в двух частностях ИИ наврал – назвал бронзу латунью и еще что-то в таком роде.

Или, допустим: показываю ему кусочек текста, говорю, это шутливый разговор о физике, перескажи мне его в научных терминах. Гугловский ИИ ужасно многословен – сообщает, из какой книги отрывок (ни разу не угадал), объясняет, какую мысль проводит автор (тоже обычно мимо), подробно объясняет каждое словосочетание (вот это он делает в целом правильно, только надо помнить, что ищет он по-английски, а для нашего разговора переводит на русский и может запросто обозвать принцип дополнительности принципом дополняемости и так далее), выводит какую-нибудь глубокую общечеловеческую мораль, предлагает собственный перевод отрывка (ни разу не выдал чего-нибудь стоящего), по три раза объясняет одно и то же – а мне это и надо, из его многословия я выуживаю зацепку для игры слов, которую не могла придумать. Только не надо просить его самого перевести игру слов – такая дрянь получается, что аж стыдно за беднягу.

Отдельная интересность: общение с ИИ, независимо от того, помог ли он мне распутать задачку или как-то особенно талантливо наврал, оставляет острое желание немедленно кому-нибудь про это рассказать. Интересно, это он так мой разум исподволь порабощает? Или уже поработил, раз я пошла это все писать в колонку, куда уже сто лет не писала?





384
просмотры





  Комментарии


Ссылка на сообщение24 января 18:25
Дипсик переводит неплохо, но надо правит ь. Плюс задать стиль, типа «грубоватый армейский, с юморком». Хотя конечно иногда выдаёт такие перлы, что диву даешься 🤣 В общем если не на скорость, то удобней самому, если перевод нужен вчера, то с помощью нейросети быстрее.
свернуть ветку
 


Ссылка на сообщение24 января 18:46
Ну, не знаю. Мне кажется, если задавать стилистические промпты, результат получается еще гаже. Но я не особо экспериментировала — не мой вид прокрастинации.
 


Ссылка на сообщение24 января 19:18
Кому что нра) Я вообще люблю общаться с нейросетями


Ссылка на сообщение24 января 18:30
Может быть проблема в поваре?


Ссылка на сообщение24 января 18:32
Тут от психофизиологических особенностей того, кто решил взяться за перевод, многое зависит. Мне вот, например, работать с любого качества «рыбой» в 100% случаев порядково комфортнее, чем с чистым листом. Это не только переводов касается, но и переводов тож. Потому как чукча не писатель, чукча — редактор. 8:-0
свернуть ветку
 


Ссылка на сообщение24 января 18:51
Это, видимо, действительно психофизические особенности, потому что мне редактировать плохой текст — не важно, человеческий или машинный — ужасно тяжело морально, я становлюсь злая и нервная.


Ссылка на сообщение24 января 18:34
Пишите чаще. Вас очень приятно читать.
свернуть ветку
 


Ссылка на сообщение24 января 18:52
Спасибо)


Ссылка на сообщение24 января 19:00
В плане общения, мне текстовой интерфейс «ИИ» больше всего напоминает туповатого подмастерья из мультфильмов и фильмов про супер-злодеев и безумных учёных, как по стилю, так и по результату деятельности. Словом, пример узнаваемый и даже умильный.
Соответственно, это что-то необыкновенно забавное, иногда полезное прямо в своей бесполезности, но по-своему родное. А про шалости питомцев, котиков, птичек в необычных обстоятельствах, всегда всем хочется рассказать. А если это чудо подтолкнуло в нужном направлении или выдало неожиданную формулировку — так это ещё один повод порадоваться за питомца.
Так что это, возможно, если не эффект Тамагочи, то что-то похожее.
свернуть ветку
 


Ссылка на сообщение24 января 19:11
Я в этой метафоре скорее чувствую себя туповатым подмастерьем, экспериментирующим с чего-то очень сложным, чего по-настоящему понять не могу (а знающие люди еще и объясняют, что никто понять не может)))
 


Ссылка на сообщение24 января 21:05
Если учесть, что хозяева у таких подмастерье в соответствующем жанре меняются довольно часто, а подмастерье чаще всего или даже всегда живёт и здравствует, а в реальности языковые модели на таких запросах учатся и прогрессируют быстрее чем вопрошающий «хозяин», инверсия вполне себе обоснована. Что-то вроде «Многие же будут первые последними, и последние первыми».
И кстати мне лично помогают не столько понимать специфическое, сколько делать текстовые расследования, по тематическим пересечениям текстов и эстафете смыслов и художественных приёмов у жанра или у отдельных писателей. Тут вообще всё равно какие тут будут ошибки, главное найти связь, которую можно проверить и которую я без этого инструмента постигал бы годами эрудиции или прочитывания литературной критики. По той же Библии достаточно сформулировать этическую максиму или образный эпизод, ситуацию, сюжет, чтобы найти все различные варианты возможной цитаты.
 


Ссылка на сообщение24 января 21:22
Чот я сомневаюсь, чтобы мои или ваши запросы шли на обучение. То есть, конечно, я понятия не имею, как формируются массивы запросов, которые используются для обучения, но мне кажется, как-то иначе.
А с цитатами, мне казалось, у ИИ совсем швах. Неужели реальные цитаты выдает из Библии? Из Шекспира в половине случаев сама сочиняет.
 


Ссылка на сообщение24 января 21:39
Мне кажется, придумывает где-то половину. В моём случае нужно найти скорее веер тематически близких фраз, чем саму цитату, так что во-первых, «фантазия» не такая уж помеха, во-вторых, я изначально не слишком ограничиваю «облачного брата» чёткими условиями, вариантов в любом случае много, поэтому ему нет обычно нужды что-то «выдумывать».
Но имею, конечно, ввиду, что это тот костыль, к которому можно привыкнуть, поэтому пользуюсь исключительно в случаях, когда сам захожу в тупик с обычным поиском.
Но систематизация ответа в стиле: вот я выложил весь расклад, по пунктам и по полочкам, конечно, подкупает даже при всём вранье.


Ссылка на сообщение24 января 21:50
Я думаю... если вы хотите, чтобы ваш перевод нравился ВАМ, — вы сделаете его сами. Потому что только в этом случае он будет отвечать вашим личным представлениям о том, как на русском языке должен выглядеть вот этот конкретный текст. Если такой цели нет, то можно и нейроперевод напильником обработать. Добиваться от нейросети, чтобы она переводила как вы, -- почти настолько же бесполезное дело, как и добиваться от нее, чтобы она писала как вы. Почти -- потому что в случае с переводом добиться результата, близкого к требуемому, все-таки реально. В случае с оригинальным текстом -- невозможно в принципе. Обратите внимание: я не говорю о качестве перевода (по шкале точности, например). Я говорю о чистой вкусовщине -- «перевод нравится вам» не означает, что это лучший перевод на свете. Это просто ВАШ перевод.

А вообще с нейропереводами будет другая засада. Допустим, условное издательство купило права на книгу и перевело ее на русский Дипсиком. Бесплатно. А затем этот бесплатный перевод то же издательство продает за деньги... Не должно ли оно заплатить владельцам Дипсика? А сколько, а как рассчитывать сумму? Эта проблема быстро уйдет в чисто юридическое поле. И решиться может как в пользу переводчика-человека, так и в пользу ИИ.
свернуть ветку
 


Ссылка на сообщение24 января 22:21
Если мы говорим о практических вещах, то важно не то, нравится ли перевод мне, а может ли приличное издательство его напечатать. Если я как редактор хоть чего-нибудь стою, я могу отличить «я бы сделала иначе» от «это никуда не годится». И даже если я не могу, хороший редактор точно это может и постоянно делает. И нейросетевые переводы пока еще в состоянии «это никуда не годится, напильником допиливать себе дороже».
Со вторым как раз проще. Недавно была новость, что французский «Арлекин» отказывается от переводчиков. У них договор с какой-то специально для этого разработанной нейросеткой, и они наняли на аутсорс людей, которые нейросетевой перевод допиливают. Про оплату не пишут, конечно, но при этом хвастаются, что скорость увеличивается вдвое — так что, надо думать, они платят этим аусорсерам что-нибудь вроде половины переводческих гонораров. Хозяевам нейросетки тоже платят. Причем уж арлекиновские тексты как раз такие, что, если сетку дообучали на прежних книгах, наверняка она успешно научилась писать «и я обнял ее всю» и проч. В общем, надо смотреть, что у них получится. Я не настолько знаю французский, чтобы оценить качество перевода, да и не настолько интересно, чтобы этим заниматься, но, надо надеяться, кто-нибудь оценит и расскажет.
 


Ссылка на сообщение24 января 22:54
О! Ну, значит, французы пошли таким путем. Первая ласточка.

Ну вот «я бы сделала иначе» -- это единственное, ради чего вообще можно этим заниматься, по-моему. Переводить, в смысле.
 


Ссылка на сообщениепозавчера в 13:09
цитата kdm
Если я как редактор хоть чего-нибудь стою, я могу отличить «я бы сделала иначе» от «это никуда не годится».


Отличить методом «слепого» теста?
 


Ссылка на сообщениепозавчера в 16:15
Мне случалось судить переводческие конкурсы. Работы, разумеется, под никами. Это слепой тест?
 


Ссылка на сообщениепозавчера в 16:43
Нет, потому что у меня есть сомнения в том, что участники конкурса честно признавались в использовании нейросетей.
 


Ссылка на сообщениепозавчера в 17:33
А при чем здесь это? Я где-то написала, что гарантированно отличу человеческий перевод от нейросетевого? Вероятно, не отличу. Мне вообще до лампочки, отчего перевод плох — от того что он нейросетевой или от того, что его сделал человек, не умеющий переводить.
И если я когда-нибудь увижу хороший художественный перевод, сделанный нейросеткой, то порадуюсь за разработчиков.
 


Ссылка на сообщениепозавчера в 19:59
Я вас не до конца понимаю, поэтому мне кажется, что вы сами себе противоречите.

Вы никогда не увидете хороший перевод, сделанный нейросеткой, потому что не сможете отличить его от человеческого.
 


Ссылка на сообщениепозавчера в 20:22
Я вас тоже не понимаю. В замечательной книжке, которую я перевела и которую Phelan только что анонсировал в своей колонке, в одном сообществе было такое правило ведения дискуссии: каждый участник должен сформулировать взгляд оппонента так, чтобы оппонент признал изложение правильным. Попробую. Мне кажется, вы хотите доказать следующее. Нейросетки уже переводят замечательно. Профессиональные переводчики из предубеждения, профессиональной ревности или по каким-то иным мотивам этого не признают. Если показать мне нейросетевой перевод, но сказать, что это сделал человек, я найду перевод замечательным и порекомендую этого человека в издательство. Я правильно вас поняла?
 


Ссылка на сообщениепозавчера в 21:47
Нет, мимо.

Я хочу сказать, что нужен «слепой» тест. С научной точки зрения, конечно.
 


Ссылка на сообщениепозавчера в 13:47
цитата kdm
может ли приличное издательство его напечатать.


Хотелось бы также узнать список этих приличных издательств. Эксмо и АСТ к ним относятся?
 


Ссылка на сообщениепозавчера в 16:13
Это Gedankenexperiment.
 


Ссылка на сообщениепозавчера в 16:40
Скорее circular reasoning


Ссылка на сообщениепозавчера в 22:50
цитата kdm
Недавно была новость, что французский «Арлекин» отказывается от переводчиков. У них договор с какой-то специально для этого разработанной нейросеткой, и они наняли на аутсорс людей, которые нейросетевой перевод допиливают. Про оплату не пишут, конечно, но при этом хвастаются, что скорость увеличивается вдвое


Очень много лет назад, когда купить что-то приличное на английском было еще очень трудно, мне приходилось несклько раз покупать арлекиновские романчики. Их можно хоть холодильником переводить. Хорошая микроволновка тоже справится.
Их просто нельзя назвать какой-то художественной литературой. Я пару раз переводила для друзей нечто подобное — скорость перевода (без всякого ии) ограничена только скоростью, с которой я печатаю ))
свернуть ветку
 


Ссылка на сообщениепозавчера в 23:16
У меня куча знакомых начинала в их российском филиале. Платили три копейки, брали всех подряд, человек с задатками быстро набивал руку и уходил в более приличное место. Так что какая-то польза и от этого издательства была))))
 


Ссылка на сообщениевчера в 17:48
В начале 90х я как-то перед полетом (почти 4 часа) обнаружила, что забыла взять с собой книгу. Это был чартерный рейс переводчиков, летевших на Тенгиз на вахту. Купила единственное, что лежало на прилавке — один из этих «арлекинов».
Обнаружила там фразы (все не помню, увы) «холодный, как огурец» и «на столике рядом с ней стоял творец кофе». Так вся книга была переведена. Переводческая братия заинтересовалась, с чего это я хохочу, и книга пошла по рукам. Как только самолет не рухнул от хохота :-)))
Так что в
цитата kdm
брали всех подряд
очень верю.


Ссылка на сообщениесегодня в 07:14
Это ситуативный взгляд из «здесь и сейчас». И, разумеется, чувствуется профессиональная «ревность» и настороженность в сторону новой технологии, способной потеснить профессионала-человека. :)
ЛЛМ стали массово доступны всего-то меньше трех лет назад (для удобства давайте считать, что с начала 2023 года). Крупные и значимые ныне игроки (типа Дипсика и Z.AI) пришли на рынок и вовсе год-полтора назад, а уже показывают если и не ах-великолепный, то вполне приемлемый уровень. Старейшины типа ChatGPT и Claude тоже развиваются стремительно.
Со временем уровень и качество работы ЛЛМ будут только расти: будет повышаться качество обучения моделей, да и программисты не будут сидеть сложа руки, а будут оптимизировать непосредственную внутреннюю кухню моделей (программный код).
Кроме того, я почти уверен, что будут созданы специализированные модели, заточенные именно под перевод (в частности, художественный). И их, вероятно можно будет дообучать. Вы например, можете, скормить такой системе корпус ваших собственных переводов, и при необходимости включать его использование при генерации новых переводов. И с удивлением наблюдать, как «из под пера» ЛЛМ появляется перевод, как будто написанный Вами. :)
Что же такими темпами будет лет через пять?
Сдается мне, что мы уже не сможем в «слепых» тестах отличить ЛЛМ-перевод от работы переводчика-профессионала.
свернуть ветку
 


Ссылка на сообщениесегодня в 10:51
цитата stwnd
Это ситуативный взгляд из «здесь и сейчас».

Разумеется, я сразу так и говорю. Не пишу исторический обзор и не делаю прогнозов — рассказываю, чем сейчас LLM могут быть полезны переводчику, а чем — нет.
цитата stwnd
И, разумеется, чувствуется профессиональная «ревность» и настороженность в сторону новой технологии, способной потеснить профессионала-человека. :)

Переводчики обычно с радостью пользуются новыми технологиями. Опять-таки, как я пишу, поговорить для начала с LLМ сейчас дает заметный выигрыш во времени по сравнению с просто поиском. Особенно при том, как рунет сейчас замусорен нейросетевыми переводами: просто открывать одну за другой статьи на интересующую меня тему оказываются пустой тратой времени. Если бы LLM сейчас могли написать мне годный черновик, я бы этим охотно пользовалась. Поэтому и я, и мои коллеги периодически это проверяем. Пока нет.
цитата
Кроме того, я почти уверен, что будут созданы специализированные модели, заточенные именно под перевод (в частности, художественный).

Некоторое время назад мне для перевода художественной книжки (фантастика, будущее) потребовалось разобраться с тем, как работают LLM (насколько это возможно для профана), и, конечно, про обучение их переводу я читала особенно внимательно (хотя как раз это для книжки было не нужно). И у меня сложилось впечатление, что в этой области потолок довольно близко. Понимаете, когда появились первые машинные переводчики, которые так или иначе разбирали фразы грамматически и подставляли слова, переводчики сразу сказали, что на этом пути машина к человеку не приблизится, потому что человек работает иначе. LLM с их токенами и пространством смыслов гораздо, гораздо ближе к тому, как работает мозг переводчика. И все-таки это не то. Так что нужно ждать следующего прорыва. Да и всего корпуса художественных переводов просто слишком мало для обучения LLM.
цитата
Сдается мне, что мы уже не сможем в «слепых» тестах отличить ЛЛМ-перевод от работы переводчика-профессионала.

Что все так прикололись к слепым тестам? Подозреваю, что в Дуолигво, заменяя актеров нейросеткой, проводили не слепые тесты (можно ли отличить сетку от человека), а A/В тесты — потеряют ли они на этом пользователей. Издатели для A/В тестов просто слишком бедные)))
 


Ссылка на сообщениесегодня в 15:57
«Слепой» тест — это объективный критерий. Очень много случаев, когда люди, считавшие себя специалистами в той или иной области, показывали результаты, близкие к вероятностным, в лучшем случае.
 


Ссылка на сообщениесегодня в 17:00
Всё, что нужно знать о слепом тестировании — это то, что придумали его физики, массово внедрили медики (фармацевты), а больше всего любят журналисты и маркетологи.


Ссылка на сообщениесегодня в 19:54
цитата ArK
«Слепой» тест — это объективный критерий.

Зачем он нужен? Нужно совершенно другое: оценка специалиста/профессионала.
Вам ее дали.
цитата kdm
Пока нет.


Ссылка на сообщениесегодня в 20:00
цитата stwnd
Что же такими темпами будет лет через пять?

То же, что и всегда.
Рынок завалят убогими нейропереводами.
Наступит пресыщение и разочарование новой игрушкой. Технология упрется в потолок.
Профессиональные переводы, сделанные людьми, вырастут в цене.
PS про художественную литературу речь.


⇑ Наверх