Новый алгоритм вычисления


Вы здесь: Авторские колонки FantLab.ru > Авторская колонка «creator» > Новый алгоритм вычисления средней оценки произведения
Поиск статьи:
   расширенный поиск »

Новый алгоритм вычисления средней оценки произведения

Статья написана 24 сентября 16:39
Размещена в рубрике «Глас админа» и в авторской колонке creator

Друзья, мы перешли ко второму этапу борьбы с накруткой средних оценок и рейтингов. Четыре года назад мы разработали и внедрили более корректный алгоритм вычисления рейтинга авторов, который минимизирует влияние преднамеренных манипуляций. Сейчас мы изменили также формулу расчёта средней оценки произведений, заменив её на средневзвешенную. Весовые коэффициенты для каждой оценки складываются из ряда факторов, которые занижают влияние оценки при подозрении на попытку манипуляции над рейтингами. К примеру, если регистрируется посетитель, ставит единицы всем произведениям одного автора, и больше ничего — вес такого будет нулевым. Это классический пример, но это далеко не единственные критерии, и алгоритм гораздо сложнее.

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее, но при росте числа оценок всё большее значение имеет доверительный вес, линейно и плавно переводя алгоритм от простого среднего к средневзвешенному. На странице детализации рейтинга произведения можно увидеть старое значение средней оценки — посмотрите там абзац "Обратите внимание!".

Мы надеемся, что новый алгоритм позволит сделать рейтинги более честными, лишёнными умышленных "вбросов" со стороны.





5671
просмотры





  Комментарии
Страницы: [1] 2  3  4  5  6  7 
Братишка-Лис 


Ссылка на сообщение24 сентября 17:38 цитировать
«Средняя оценка считается как средневзвешенная. Вес каждой оценки равен степени доверия сайта оценкам этого посетителя.»
Было бы интересным видеть в профиле пользователя эту «степень доверия сайта оценкам этого посетителя».
И, допустим, с разъяснением, отчего такое доверие к данному пользователю.
Кстати, интересно. Если много наставлено единиц, это понятно, странно. Человек не может, пересиливая себя, читать много вызывающих омерзение книг.
А если много 8-10, это понятно. Следует рекомендациям приятелей или вашего портала.
свернуть ветку
 
Хойти 


Ссылка на сообщение24 сентября 17:44 цитировать
много 8-10 может быть ещё и по другой причине: это произведения, которые понравились — и поэтому запомнились.
 
Kapatoha 


Ссылка на сообщение24 сентября 18:04 цитировать
Полностью согласен! 8-)
 
Manic Aeon 


Ссылка на сообщение24 сентября 18:17 цитировать

цитата

Человек не может, пересиливая себя, читать много вызывающих омерзение книг.

Может. В рамках школьного курса по литературе этим занималось большинство.

Еще сюда можно отнести книги, которые популярны в определенное время, о которых кричат из каждого чайника, что они «шедевр». И ты их читаешь, чтобы понять, насколько неправы кричащие.
 
HDRip 


Ссылка на сообщение24 сентября 18:19 цитировать
Да, мне тоже интересно было бы узнать, по какому принципу рассчитывается доверие к пользователям. По баллам за отзывы? Может, по активности?

Ну и, да, обидно будет, если мои единицы банально не будут учитываться. У меня их не много, но, на мой взгляд, все поставлены за дело. :-)))
 
creator 


Ссылка на сообщение24 сентября 18:23 цитировать
Да, баллы за отзывы прибавляют веса. Как и ряд других факторов.
Единицы Ваши будут учитываться в полной мере, если алгоритм не решит, что они предвзяты.
Короче, алгоритм я всё равно не раскрою. Я считаю, что он близок к идеальному. Возможно, в ближайшее время чуть скорректирую, что вы практически не увидите. :-)
 
witkowsky 


Ссылка на сообщение25 сентября 05:19 цитировать
Отдельное спасибо: как раз меня один тип единицами и преследует, и не одного меня, кажется.
 
Shean 


Ссылка на сообщение25 сентября 09:22 цитировать
сталкивалась с таким, да
 
alexis1273 


Ссылка на сообщение25 сентября 22:25 цитировать
Здорово, что сделали такой алгоритм!
А зачем тогда админ Дзюба удалил все мои оценки?
Без предупреждения.
Только написал, что ему видете ли мои оценки кажутся предвзятыми.
А я теперь не могу вспомнить какие книги уже прослушал.
Если дали возможность ставить оценки как можно за это штрафовать.
Уберите вообще единицу раз ее нельзя ставить.
 
Г у д в и н 


Ссылка на сообщение25 сентября 23:25 цитировать
Если оценки изымают, то это странно. Они же нужны для раздела «Рекомендации». %-\ А если просто не учитывают в рейтинге — то практически пофиг. От этого ни холодно, ни жарко.
 
порубеж_ник 


Ссылка на сообщение24 сентября 19:40 цитировать
Абсолютно верно указано!
 
Fiametta 


Ссылка на сообщение25 сентября 08:14 цитировать
Или просто люди недочитывают неприятные книги.
opty 


Ссылка на сообщение24 сентября 17:49 цитировать
А оценки уже фактически пересчитаны ? Или старые остались «как есть» а их корректировка пойдет по новому алгоритму ?
свернуть ветку
 
creator 


Ссылка на сообщение24 сентября 19:09 цитировать
Да, пресчитаны. Правда, с последней незначительной корректировкой — только что. 8:-0
MarchingCat 


Ссылка на сообщение24 сентября 18:05 цитировать

цитата creator

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее

Вот это как раз очень плохо (((
Поясню.
Вышла книжка Васи Пупкина. Дебют. Только-только поступила в продажу. И захожу я на страницу произведения оценку хоть примерную глянуть, какие отметки первые читатели выставили.  А пятеро накрутчиков выставят там по десятке... и один честный тройку... и что же за оценку я увижу... оценку 8,8/10 = круто, подумаю я и пойду покупать книгу....
Когда оценок у произведения уже много — сама оценка уже и не так важна. Ибо произведение уже  давно вышло. Отзывы есть. Автор на слуху (мта это или что посерьёзнее).
Вот именно когда оценок мало — очень важна степень достоверности оценки.
свернуть ветку
 
creator 


Ссылка на сообщение24 сентября 18:11 цитировать
Представьте, что у произведения всего одна оценка — 10.
Вы заходите, ставите 9. И видите, что средняя стала не 9.5, а 9.9. Каковы будут Ваши вопросы к администрации сайта? :-)
 
ziza 


Ссылка на сообщение25 сентября 01:45 цитировать
Никаких вопросов.

Сомнительное это времяпровождение — ставить оценки, вычислять рейтинги и на их основе делать рекомендации.

Все эти оценки имеют нулевую достоверность по очень простой причине. Или оценки накручиваются экспертами, или то же самое делает алгоритм.
 
GBV 


Ссылка на сообщение24 сентября 20:01 цитировать
Если оценок мало, то смысла всё равно нет ориентироваться на рейтинг. Лучше посмотреть в деталях, кто и какие оценки поставил произведению, и если там есть знакомые ники — ориентироваться по ним.
 
Green_Bear 


Ссылка на сообщение24 сентября 20:03 цитировать
:beer:
Вот поэтому я очень-очень-очень жду модернизации раздела «Рекомендации», чтобы вручную настраивать список единомышленников — мечта!)
 
Gourmand 


Ссылка на сообщение26 сентября 11:43 цитировать

цитата Green_Bear

поэтому я очень-очень-очень жду модернизации раздела «Рекомендации», чтобы вручную настраивать список единомышленников

О! Это было бы очень круто.
 
Melanchthon 


Ссылка на сообщение24 сентября 20:04 цитировать
Вот! Единственно верное решение и раньше, и теперь :beer:!
StasKr 


Ссылка на сообщение24 сентября 18:08 цитировать
Предвижу вой в среде тех поклонников того или иного автора, которые обожают накручивать или занижать оценки.

Ну, а пока Ярославе Кузнецовой срезали оценку на 0,3 балла, Тармашеву — на пол балла, Кузьминой — на балл. «Это просто праздник какой-то» (с) :-)))
свернуть ветку
 
HDRip 


Ссылка на сообщение24 сентября 18:25 цитировать
У Перумова оценки на полбалла упали, так что я тоже не в обиде. :-)))

Но мне интересно... а есть ли книги, у которых оценки выросли после смены системы? Пока ни одной не увидел.
 
metalurg 


Ссылка на сообщение24 сентября 18:40 цитировать
Подозреваю, что оценки выросли у какого-нибудь Шендеровича, по нему после открытия библиографии неслабо так хейтеры с единицами прошлись.
 
Shean 


Ссылка на сообщение25 сентября 09:24 цитировать
у меня на 0,01 подскочила))) я немножко Шендерович
muravied 


Ссылка на сообщение24 сентября 18:13 цитировать
Возможно я покажусь занудой, но я считаю ничего менять не надо. Если где-то рейтинг завышен по вашему мнению, то хотелось бы пару ссылочек. По моему всё честно, более менее.
свернуть ветку
 
narsyy 


Ссылка на сообщение24 сентября 21:33 цитировать
посмотрите на все оценки и отзывы на творчество Тармашева до 20 августа 2017 г. и после.
zdraste 


Ссылка на сообщение24 сентября 18:26 цитировать
Уважаемые! меня достали эти оценки!
Почему нет отзывов??? куча оценок, и ни одного отзыва.
Лично я, никогда не ориентируюсь на оценках. Мне необходимо слово. Слово!
Понимаете?
Отпишитесь пожалуйста, хоть пару строк черкните.  А то пойми, по 10 бальной системе что имел в виду читатель. Эти цифры — сухая статистика.
Лично я стараюсь в каждом прочитанном оставлять отзыв, хоть пару слов, но стараюсь писать.
Правда ... единицу поставила одному знаменитому писателю, без отзыва...гадость редкостная... не писать же эти два слова к его роману.
свернуть ветку
 
монтажник 21 


Ссылка на сообщение24 сентября 18:29 цитировать

цитата zdraste

гадость редкостная...
Именно что — писать обязательно!!
 
Хойти 


Ссылка на сообщение24 сентября 18:35 цитировать
и нахватать минусов за такой «отзыв» :-)
 
morbo 


Ссылка на сообщение27 сентября 06:53 цитировать
Не обращать внимания на диктатуру большинства. Вы лайки коллекционируете или донести своё мнение хотите?
 
razrub 


Ссылка на сообщение27 сентября 11:47 цитировать
Дык, не получится не обращать. Ибо пять  минусов — и отзыв выпиливается.
 
muravied 


Ссылка на сообщение27 сентября 11:50 цитировать
А были вообще случаи, когда человека наказали за то что он поставил минус нормальному отзыву?
 
morbo 


Ссылка на сообщение27 сентября 14:20 цитировать
Я недавно написал отзыв, который шёл вразрез со мнением большинства. Только поместил отзыв, перечитал его, чтобы ещё раз проверить опечатки. Исправил парочку и увидел минус. Через час появился отзыв, в котором человек начал ёрничать над моим мнением. Потом появился ещё один по тексту довольно нейтральный отзыв, но судя по оценке — нарочито оппозиционный моему мнению. Следующие несколько дней я наблюдал, как мне и другим людям, которым не понравился рассказ, ставили минусы.

Я готов терпеть минусы, но не готов к тому, что мой отзыв удалят — для меня важно донести своё мнение, особенно если оно отличается от хора благолепных голосов. Поэтому тенденция меня вывела из равновесия и я решил ответить ёрничаньем на ёрничанье:
https://fantlab.ru/work...

Сейчас остыл и читать мне это не приятно, но зато этому более едкому отзыву больше ни один человек не поставил минус. Если бы продолжали минусовать — продолжал бы эскалацию конфликта наверх. Если бы я выяснил, что администрация только декларирует правила хорошего поведения, но реально не готова обеспечить их выполнение, то и я бы перестал соблюдать декларируемые правила.
 
Хойти 


Ссылка на сообщение27 сентября 15:05 цитировать
вы, конечно, добрый... только ничего не поняли. естественно, в минус (и в выпиливание) уйдёт отзыв, состоящий из двух слов: «гадость редкостная». и всё. я о том и говорю, что нафиг такие отзывы писать.
 
morbo 


Ссылка на сообщение27 сентября 17:21 цитировать
«Гадость редкостная» — это не отзыв. Такие отзывы действительно не надо писать и их правильно минусуют. Это похоже на надпись на заборе — «Петя — дурак». Какой Петя? Почему дурак? Здесь нужно больше подробностей. Без подробностей это не отзыв, а инфомусор — только время у людей отнимает.
 
creator 


Ссылка на сообщение24 сентября 18:32 цитировать
Как это нет отзывов? Их полно.
И я, извините, но не пойму, как Ваша мысль относится к теме этой статьи.
 
Paganist 


Ссылка на сообщение24 сентября 21:16 цитировать
Вот, кстати, да! Согласен. Только лишь с поправкой, что оценки тоже нужны. Всё-таки при выборе «чего почитать» у нового для себя автора хочешь начать с лучших произведений. Отзывы на все книги перечитывать не будешь. В этом случае оценки хорошо ориентируют. Тогда выбираешь самые рейтинговые произведения и уже изучаешь отзывы. Считаю, что отзывы не менее (а то и более) важны, чем оценки. Ибо есть фантлабовцы, оставляющие на отдельные произведения отзывы, но не оставляющие им оценки.
 
Fiametta 


Ссылка на сообщение25 сентября 08:21 цитировать
Кому-то писать легко, кому-то очень трудно. Потом на отзыв да еще длинный нужно время, а в сутках только 24 часа. Потом оценка часто от личных эмоций зависит, а о них писать публично ... не хочется.
монтажник 21 


Ссылка на сообщение24 сентября 18:28 цитировать
Просто не надо начислять баллы за оценки. И тогда люди будут ставить оценки только тем, кого действительно прочитали8:-08:-08:-0
свернуть ветку
 
Хойти 


Ссылка на сообщение24 сентября 18:37 цитировать
вот здрасьте! а за что ж их начислять? за треск на форуме? за время торчания на сайте?
 
монтажник 21 


Ссылка на сообщение24 сентября 18:39 цитировать
А зачем они вообще нужны? Потешить самолюбие?
 
Хойти 


Ссылка на сообщение24 сентября 18:43 цитировать
как-то не стремлюсь. я иронизирую (если так непонятно). оценивание произведений — полезная работа для сайта. не думаю, что тут толпы лаборантов выставляют оценки от балды, лишь бы рейтинг набить. тем более, что он тут особо ничего не решает.
 
Green_Bear 


Ссылка на сообщение24 сентября 19:02 цитировать
Чтобы хоть как-то стимулировать людей к выставлению оценок, очевидно жеж.
 
С.Соболев 


Ссылка на сообщение24 сентября 18:40 цитировать
А вот за отзывы и начислять.
 
Хойти 


Ссылка на сообщение24 сентября 18:43 цитировать
это само собой.
 
монтажник 21 


Ссылка на сообщение24 сентября 18:44 цитировать
Верно:beer:
 
muravied 


Ссылка на сообщение24 сентября 18:53 цитировать
Кстати мудрая мысль!
 
creator 


Ссылка на сообщение24 сентября 19:05 цитировать
Кто и с чего вообще взял, что вес оценки зависит от их числа у посетителя?!..
olpo70 


Ссылка на сообщение24 сентября 18:39 цитировать
А вот это идея правильная. Смотрите статистику — лучшие это те кто поставил кучу оценок. Тупо просто идти по списку( любому) ставить оценки( читал не читал, не важно) и ты хоп миродержец!
Не надо начислять балы за оценку. И лишнии сразу отсеятся.
свернуть ветку
 
creator 


Ссылка на сообщение24 сентября 18:41 цитировать
Я не говорил, что количество оценок имеет значение при расчёте веса.
 
монтажник 21 


Ссылка на сообщение24 сентября 18:45 цитировать

цитата olpo70

olpo70
:beer::beer::beer:
 
Green_Bear 


Ссылка на сообщение24 сентября 19:04 цитировать

цитата olpo70

Смотрите статистику — лучшие это те кто поставил кучу оценок.

С точки зрения доверия сайта к оценкам юзера — далеко не обязательно;) В расчете весов, по словам creator'a, участвует множество параметров.
 
Gourmand 


Ссылка на сообщение24 сентября 20:16 цитировать
Нет никакой связи между статусом (миротворец, философ, авторитет) и доверием к оценке.
Эта статья не о статусах и рейтингах пользователей, а о рейтингах произведений.
Если вам очень нужен статус «миротворец», приглашаю вас прочитать и выставить оценки поэтам Серебряного века, а также Шекспиру, Пушкину и так далее.
Я вот, например, круто поднялся на Омаре Хайяме, чего и вам желаю. :beer:
 
morbo 


Ссылка на сообщение27 сентября 06:56 цитировать
А что, за разных авторов разные баллы начисляются? Вот это поворот!o_O
 
Manic Aeon 


Ссылка на сообщение25 сентября 00:28 цитировать

цитата

Не надо начислять балы за оценку. И лишнии сразу отсеятся.

Не надо впадать в крайности.
Melanchthon 


Ссылка на сообщение24 сентября 19:20 цитировать
Официальное деление фантлабовцев на пользователей первого и пользователей второго сорта ? Сегрегация получается =). (Но, возможно, поможет победить тех, кто ставит кучу «колов» «горячо любимому» автору, да). И начиная с какого количества оценок у произведения появляется средневзвешенная оценка, можно узнать — с 20, с 30?
свернуть ветку
 
Green_Bear 


Ссылка на сообщение24 сентября 19:36 цитировать

цитата Melanchthon

Официальное деление фантлабовцев на пользователей первого и пользователей второго сорта ? Сегрегация получается =)

Та причина, по которой я не аплодирую решению, хотя и во многом согласен с ним... 8:-0

Несколько десяток оценок нужно, порядок вы угадали. Точное число знает лишь creator)
 
Melanchthon 


Ссылка на сообщение24 сентября 19:50 цитировать
Это легко узнать — посмотреть, где появляется средневзвешенная оценка — с какого количества проголосовавших =). Ну или где средневзвешенная начинает отличаться от средней — всё очень просто =). Плюс, если сделать средневзвешенную оценку с 10 — 15, то это даёт безграничные возможности по манипуляциям по завышению оценок для переводчиков, издателей, редакторов и иже с ними — для продвижения свежих изданий и переводов (возможно, имхо — ведь их очень много среди фантлабовцев).
 
Green_Bear 


Ссылка на сообщение24 сентября 19:51 цитировать

цитата Melanchthon

Это легко узнать — посмотреть, где появляется средневзвешенная оценка — с какого количества проголосовавших =)

Как-то лень идти и вручную выискивать:) Наверняка, кто-нибудь сделает это вскоре)))
 
creator 


Ссылка на сообщение24 сентября 19:42 цитировать
Это не сегрегация. Это средневзвешенное на основе доверительной вероятности. Применяется повсеместно. Прошу не усложнять.
Ga_Li 


Ссылка на сообщение24 сентября 19:24 цитировать

цитата creator

Да, баллы за отзывы прибавляют веса.

Средний балл за отзывы или просто количество баллов?
свернуть ветку
 
creator 


Ссылка на сообщение24 сентября 19:35 цитировать
Ни то, ни другое. Сложнее.
Страницы: [1] 2  3  4  5  6  7 



Внимание! Администрация Лаборатории Фантастики не имеет отношения к частным мнениям и высказываниям, публикуемым посетителями сайта в авторских колонках.