Тема «Переводы и переводчики. Нейроэнтузиасты, объединяйтесь!»

Вы здесь: Форумы fantlab.ru > Форум «Другие окололитературные темы» > Тема «Переводы и переводчики. Нейроэнтузиасты, объединяйтесь!»

Переводы и переводчики. Нейроэнтузиасты, объединяйтесь!

Страницы: 1 2 3...35 36 37 38 39...46 47 48 🔍 поиск написать сообщение

автор

сообщение

миротворец

28 января 18:44

цитировать | [ ]

Перенесу сюда дискуссию c ArK из комментов к интересной заметке kdm.
Если кто еще не читал: https://fantlab.ru/blogarticle94586 — рекомендую.

цитата ArK
Я про «Суд Парижа». И это не единственный казус со «слепым» тестом.

Итак. Есть ощущение, что мы с уважаемым ArK друг друга не совсем поняли.
Попытаюсь объяснить еще раз.
ArK предлагает провести "слепой тест" переводов ИИ и человека по образцу известного теста французских энофилов.
Во-первых, мне совершенно не понятно, что такой тест в отношении перевода даст.
Если мы говорим об отличии "хорошего" и "плохого" перевода, то здесь тест технически невозможен. Объективных критериев недостаточно, а те что лежат на поверхности, обессмысливают саму идею "слепого теста". В итоге тестировщики смогут оценить тексты только в рамках нра/не нра.
Возьмите переводы М.Немцова — они хорошие или плохие? Нет ответа: одним "нра", другим до полного неприятия "не нра". Никакой слепой тест этого не изменит.
Если же мы говорим об отличии "машинного" и "человеческого" перевода — то зачем нам знать это отличие?
Что оно даст?
Например, недавно один юзер выложил здесь перевод романа.
Роман в переводе начинается с фразы:
"Дэвида всегда раздражало в ужинах за общим столом Самнеров то..."
И какая мне разница, машинное это косноязычие, или человеческое?
Зачем это определять "слепым тестом"?
Во-вторых, вместо тестов (где всегда есть риск вляпаться в "здесь и сейчас", а выводы экстраполировать на "всегда и везде") разумно выслушать мнения переводчиков-профессионалов.
И они его высказали (kdm, angels_chinese и многие другие):
ИИ для целей художественного перевода — не годится.
Переводчики его "взвесили" и нашли "легким".
С моей точки зрения, на данный момент, тема закрыта.

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".

авторитет

28 января 22:42

цитировать | [ ]

markfenz пока замечу, что часть моих оппонентов говорят, что оценка переводов — это объективный процесс, а другие — что субъективный.

авторитет

28 января 22:48

цитировать | [ ]

цитата markfenz
ИИ для целей художественного перевода — не годится.
Переводчики его "взвесили" и нашли "легким".
С моей точки зрения, на данный момент, тема закрыта.

Продолжаю. В том то и дело, что «взвесить» можно только в «слепом» тесте.

авторитет

29 января 05:24

цитировать | [ ]

цитата markfenz
Возьмите переводы М.Немцова — они хорошие или плохие? Нет ответа: одним "нра", другим до полного неприятия "не нра".

Дипсик, кстати, немцовский перевод оценил высоко. Склонна ему поверить, т.к. имела возможность убедиться, что как критик ИИ весьма неплох.

миротворец

29 января 06:50

цитировать | [ ]

цитата ArK
только в «слепом» тесте.

Так слепой тест это не волшебная палочка. Это вполне себе процедура оценки по заданным критериям. Вы подробнее опишите методику, критерии отбора для исключения субъективных факторов, требования к выборке и т. п. Тогда это будет предметный разговор. А пока действительно складывается ощущение, что где-то не там ищется причина "звона".

–––
"Всё, что нас не убивает. Затаилось и ждет момента. А не делает нас сильней"

активист

29 января 08:49

цитировать | [ ]

цитата badger
Вы подробнее опишите методику.... Тогда это будет предметный разговор.

С одной стороны — да, кто предложил, тот и должен предложить уже разумно. Тут не поспоришь.

А с другой стороны оппонент говорит примерно следующее. Если я правильно понял — markfenz поправьте меня.

— слепым тестированием сравнить качество перевода или даже оценить качество перевода ИИ — невозможно
— профессиональные переводчики (одна сторона сравнения) говорит, что их перевод лучше
— логический вывод — перевод ИИ никуда не годится, вопрос закрыт

Если мы не сомневаемся в первых двух, то вот вывод как-то не клеится. Единственный, который клеится по логике — пока сравнить качество мы не можем, и обоснованного решения нет.

Есть другие утверждения, кстати, над чем именно спорим?

— "человек в целом (как "лучший представитель класса") пока даст на порядок лучший перевод, чем ИИ" — вроде это очевидно и мало кто будет спорить

— "среднее качество перевода человеков лучше/хуже среднего качества перевода ИИ" — вот тут вопрос и можно делать статистику, ибо с тем, какие переводы выпускают сейчас частенько издательства — право слово, я лучше ИИ почитаю

— "перевод ИИ можно читать среднему пользователю и ему его достаточно" — тоже можно спорить, и тоже слепой опрос тут даст однозначный ответ. Ибо с "мастерством" писателей развлекухи со стороны до-перевода делать его (перевод) "высокохудожественным" — это как вешать в картинную галерею фотки пьянок или селфи с тачилой/утиными губками со смартфона обычного читателя. Ну представьте себе, что будет лучший в мире переводчик переводить с русского на английский Юрия Петухова... Или Нора Галь перевела бы "пятьдесят оттенков". Смысл?

активист

29 января 09:13

цитировать | [ ]

цитата bor-ka
"среднее качество перевода человеков лучше/хуже среднего качества перевода ИИ" — вот тут вопрос и можно делать статистику, ибо с тем, какие переводы выпускают сейчас частенько издательства — право слово, я лучше ИИ почитаю

Я бы сказал так. На сегодня LLM перевод с серьёзной, вдумчивой редактурой (причём редактуру можно взвалить на сам LLM, только надо задавать правильные вопросы) однозначно превосходит среднего переводчика. Так что для выдающихся произведений — выдающиеся переводчика, для всего остального — LLM + редактор.

авторитет

29 января 11:44

цитировать | [ ]

цитата bor-ka
— профессиональные переводчики (одна сторона сравнения) говорит, что их перевод лучше

Проблема в том, что с научной точки зрения их мнения, как прямо заинтересованной стороны — ничтожны.

миротворец

29 января 12:33

цитировать | [ ]

цитата ArK
Проблема в том, что с научной точки зрения их мнения, как прямо заинтересованной стороны — ничтожны

Прямо наоборот. Только мнение экспертного сообщества релевантно.

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".

активист

29 января 13:01

цитировать | [ ]

цитата markfenz
Только мнение экспертного сообщества релевантно.

Если оно не является оцениваемой стороной.

Иначе можно дойти до того, что мнение аудиофилов — финальное. Что нужно пользоваться строго серебряными проводами, колонки ставить на гранитные подставки и слушать только 192кГц (ну и что ещё там?). Ибо они — эксперты. А то, что никто статистически значимо не может отличить нормальный мп3 от лослесса — это не релевантно.

Преувеличение, но смысл то такой?

миротворец

29 января 14:10

цитировать | [ ]

bor-ka развернуто отвечать с мобилы неудобно, но если кратко, то именно так. Зачем деградировать с лосслес до мп3? Зачем деградировать с условной Норы Галь до дипсика? Только потому, что большинство не видит разницы? Посочувствуем большинству и продолжим читать человеческие переводы и слушать лосслесс на физ. носителях.

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".

миротворец

29 января 14:14

цитировать | [ ]

цитата SupeR_StaR
Дипсик, кстати, немцовский перевод оценил высоко.

Тем хуже для дипсика. :-)))

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".

авторитет

29 января 14:17

цитировать | [ ]

цитата bor-ka
Если оно не является оцениваемой стороной.

Иначе можно дойти до того, что мнение аудиофилов — финальное.

Верно.

Даже не аудиофилов, а производителей проводов.

авторитет

29 января 14:19

цитировать | [ ]

цитата markfenz
Только потому, что большинство не видит разницы?

Не большинство, а сами эксперты — в "слепом" тесте.

миротворец

29 января 15:30

цитировать | [ ]

цитата ArK
Не большинство, а сами эксперты — в "слепом" тесте.

То есть такое исследование проводилось? И где можно ознакомиться с методикой и результатами?

–––
"Всё, что нас не убивает. Затаилось и ждет момента. А не делает нас сильней"

авторитет

29 января 15:58

цитировать | [ ]

цитата badger
То есть такое исследование проводилось? И где можно ознакомиться с методикой и результатами?

Да, "слепые" тесты неоднократно проводились и проводятся.

См. для начала англ. вики — https://en.wikipedia.org/wiki/Blinded_exp...

авторитет

29 января 17:15

цитировать | [ ]

Кажется, надо объяснить некоторые вещи, которые переводчикам очевидны, а другим участникам дискуссии -- нет.
Плохой перевод от серенького-средненького профессионального можно отличить по вполне объективным критериям — примерно по тем, которые выше перечислила SupeR_StaR (с кучей оговорок, но все равно). И тут переводчики и редакторы с очень разными подходами дадут примерно одинаковые оценки. Как только (если) нейросетки перейдут с уровня "плохо" на уровень "средненько", их разработчики наверняка сами проведут тесты, о которых мечтает ArK. Допустим, по той методике, по которой тестируют просто нейроперевод, не художественный. Я сейчас не помню, но, допустим, оценки слепым методом ставят 25 профессиональных переводчиков и 250 просто пользователей (такая пропорция — потому что профессионалам надо больше заплатить за участие). Дело это дорогое. Вкладываться в то, чтобы доказать, что эта говорящая лошадь играет на виолончели хотя бы на уровне студента первого курса консерватории — дураков нет.

авторитет

29 января 17:26

цитировать | [ ]

цитата BarDenis
Я бы сказал так. На сегодня LLM перевод с серьёзной, вдумчивой редактурой (причём редактуру можно взвалить на сам LLM, только надо задавать правильные вопросы) однозначно превосходит среднего переводчика. Так что для выдающихся произведений — выдающиеся переводчика, для всего остального — LLM + редактор.

Э... если включить в выборку чудовищные переводы 90-х — может быть среднее и окажется на уровне нынешних LLМ. Но даже если допустить, что вы правы и сейчас выходит много переводов, которые хуже даже и LLM, это не норма, которую нужно закреплять, а безобразие, с которым нужно бороться.

В вашем замечательном плане на будущее, кто будет редакторами? Да те самые плохие переводчики, которых, по вашим словам, большинство. Другие-то откуда возьмутся? Да будь у нас столько хороших редакторов, сколько требует ваш план, все выходящие книги были бы идеальными)) Да и не согласится сегодня хороший редактор редактировать за нейросеткой — даже если заплатить ему как за полноценный перевод. То есть в вашем плане мы получим нейросетевой перевод + плохой редактор. Оно вам надо?

миротворец

29 января 18:26

цитировать | [ ]

цитата ArK
В том то и дело, что «взвесить» можно только в «слепом» тесте.

Нет. Совсем даже не "только". Достаточно, если специалист потестил инструмент и выдал заключение о его пригодности.
Заключение это давно известно.

цитата BarDenis
однозначно превосходит среднего переводчика.

Чушь. Полная.

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".

миротворец

29 января 18:32

цитировать | [ ]

цитата bor-ka
Если я правильно понял — markfenz поправьте меня.
— слепым тестированием сравнить качество перевода или даже оценить качество перевода ИИ — невозможно
— профессиональные переводчики (одна сторона сравнения) говорит, что их перевод лучше
— логический вывод — перевод ИИ никуда не годится, вопрос закрыт

слепым тестированием сравнить качество перевода или даже оценить качество перевода ИИ — невозможно И не нужно.
— профессиональные переводчики (одна сторона сравнения) говорит, что их перевод лучше — Нет никакой стороны сравнения. Есть переводчики, есть имитация перевода (и человеческой речи вообще) от LLM.
— логический вывод — перевод ИИ никуда не годится, вопрос закрыт — Точно.

Художественный перевод, как акт искусства, может и должен существовать только в виде человеческого творчества.
Любое использование суррогатов в творческом процессе приведет (и ведет уже сейчас) к неминуемой деградации человечества, как вида.

–––
"Потом тиран покрылся смертельной бледностью и жутчайшим образом воссмердел".