Рейтинг авторов и


Вы здесь: Авторские колонки FantLab > Рубрика «Новости ФантЛаба» > Рейтинг авторов и произведений
Поиск статьи:
   расширенный поиск »

Рейтинг авторов и произведений

Статья написана 6 марта 2013 г. 20:24
Размещена:

Произошли существенные изменения в методике расчёта рейтинга авторов и рейтинга произведений. Целью нововведений явилась необходимость повысить адекватность рейтингов, их устойчивость к недобросовестным оценкам, повысить ваше доверие к ним.

Чтобы дальнейший материал был понятен, попрошу различать «среднюю оценку» и «рейтинг». Это разные вещи. Средняя оценка показана на странице произведения, на странице автора. Она считается как простое среднее, где все оценки равноправны. Рейтинг же учитывает все оценки в разных весовых долях. В его расчёте применяются различные коэффициенты и коррекции с целью устранить шум, оставив лишь полезную, заслуживающую доверия информацию. Конечной целью рейтинга является правильная расстановка элементов в рейтинговой таблице. Само по себе значение отдельно взятого рейтинга не интересно.

Итак, что же конкретно изменилось.

Введён оценочный вес посетителя. Каждому зарегистрированному посетителю сайта присвоен оценочный вес, который носит физический смысл в количественном отражении степени доверия рейтинговой системы сайта оценкам посетителя. Степень доверия оценкам можно рассчитать лишь косвенно и примерно (в голову ведь не залезешь никому), но погрешность расчёта должна быть нивелирована высокой репрезентативностью, т.к. рейтинги имеют дело с большим множество оценок, где сумма незначительных ошибочных отклонений близка к нулю (как средняя температура по больнице = 36.6). Среди критериев, которые в первую очередь определяют оценочный вес, числятся: кол-во баллов (лайков) за отзывы, кол-во баллов (лайков) за посты в форумах о фантастике и фэнтези, количество подписчиков в авторской колонке, нормальность распределения оценок (степень совпадения с общесредней по сайту), количество оценённых авторов (если очень мало, вес снижается), а также позитивная активность посетителя на сайте (кол-во оценок, классифицированных произведений, заявок на дополнение базы и т.д.). Последнее — в крайне малой степени. «Прокачать» себе вес методом оценивания всей базы или рецидива флуда на форуме уже не возможно.

Теперь рейтинг будь то автора, будь то произведения вычисляется в весовых долях. Оценки посетителей, которым рейтинговая система доверяет (оценочный вес высок), играют при расчёте много более важную роль. Оценки однодневных посетителей, зашедших только ради накрутки любимого автора в рейтинге, сведены практически к нулю.

Формула расчёта оценочного веса, а также сами оценочные веса посетителей не публикуются по ряду соображений.

Рейтинг автора теперь основан в большей степени на известных, популярных его произведениях. Равноправия между романом, который является, по сути, лицом/визиткой автора, и рассказом, который печатался бог весть где и бог весть когда, уже нет. За степень известности произведения условно принято количество выставленных оценок. Поэтому в расчёте рейтинга автора гораздо большую роль играют его произведения с большим количеством оценок.

Коррекции рейтинга автора. Одна из коррекций нами с любовью названа «анти-мазохист». Вес множества единиц, двоек, а где-то и троек, выставленных одному автору, система режет вплоть до нуля. Логика простая — если первая прочитанная книга автора не понравилась до тошноты (а единица примерно это и предполагает), то ни один нормальный человек не заставит себя читать вторую, третью, пятую, десятую. Да, может, ему пришлось давиться (например, в поезде неделю ехал, и больше нечего было читать, а совсем не читать не может по натуре), но на всякий случай мы такое исключили.

Другая коррекция называется «анти-подхалим». Суть примерно та же. Любители оценить всего автора на 10 на свой вклад в рейтинг авторов теперь вряд ли могут рассчитывать. Не такая суровая коррекция, как «анти-мазохист», но тоже весьма. Логика: писать шедевр за шедевром — непозволительная роскошь для хомо сапиенса с ограниченными возможностями мозга. Да, сейчас вы приведёте кучу опровергающих примеров, я знаю, но, опять таки, эти оценки исключаются подальше от греха, а также от других оценок, которые хотя бы выглядят адекватно.

В рейтинге произведений добавлен расчёт по оценочному весу произведения. Других изменений в рейтинге произведений не произошло. Как видите, основные изменения постигли именно рейтинг авторов.

Готов ответить на вопросы.

UPD: баллы за сообщения на форумы исключены из оценочного веса.





4994
просмотры





  Комментарии
Страницы: 123456789101112


Ссылка на сообщение6 марта 2013 г. 22:12
Что-то смущает меня критерий «нормальность распределения оценок (степень совпадения с общесредней по сайту)». Разве это так скверно — иметь собственное мнение?
И еще...

цитата CharlieSmith

Сдается мне, что «обрезка единиц» и «обрезка десяток» — не одно и то же. Склонен все-таки десяткам доверять больше, чем единицам...хотя бы потому, что вряд ли издатель станет издавать книгу с потенциальными потребительскими свойствами 1. Поэтому 10-ки я бы вовсе не резал.

Согласна.

Вы же сами, уважаемый creator, пишете: «Да, сейчас вы приведёте кучу опровергающих примеров, я знаю, но, опять таки, эти оценки исключаются подальше от греха...» То есть «куча опровергающих примеров» вам неинтересна? Вы ее просто отметаете?
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:21
Собственное мнение — это поставить единицу произведению, которому остальные ставят высокие оценки. А вот ставить сплошные единицы, при этом не ставить другие оценки — это, может, и собственное мнение, но его трудно понять и принять. Поэтому его исключаем просто с точки зрения вероятности. Ничего не утверждаем и никого не обвиняем. Просто рейтингу это помешает.

цитата бабка_Гульда

То есть «куча опровергающих примеров» вам неинтересна?

Я ими питаюсь последние дни. У нас админов больше сотни. Готов услышать Ваше личное.. Может, я где-то не прав. Всегда открыт к обсуждению.
 


Ссылка на сообщение6 марта 2013 г. 22:35
Самый «напрашивающийся» пример — Пратчетт.
Вот есть у него около 40 романов и из них я, например, 20 оценила на 10 ибо вот оно реально на 10 (и не я одна так считаю). Но получается, что на этого автора в рейтингах будет блокировка «анти-подхалимом», т.к. слишком уж хорош?
И получили, что писатель «уехал» в изоляцию на 30 место в рейтингах. А он явно из первой десятки лучших зарубежных авторов.
 


Ссылка на сообщение6 марта 2013 г. 22:43
Как тогда избежать накрутки автора?
 


Ссылка на сообщение6 марта 2013 г. 22:49
Поставить Пратчетта в исключения?
 


Ссылка на сообщение6 марта 2013 г. 22:57
Исключения — совсем не выход. Тот же Стивен Кинг сейчас с трудом разыскивается в рейтингах. Всего 38 место.
Может программно учитывать алгоритм зависимости количества романов автора к лимиту на высшие оценки?
Одно дело 10 романов и все десятки — явная накрутка (100х100), а другое 30 романов и из них 15 высший балл (50х50)
 


Ссылка на сообщение7 марта 2013 г. 11:03

цитата WiNchiK

Может программно учитывать алгоритм зависимости количества романов автора к лимиту на высшие оценки?
Одно дело 10 романов и все десятки — явная накрутка (100х100), а другое 30 романов и из них 15 высший балл (50х50)

Хорошее предложение.

Но есть нюанс... вот например Тед Чан или Умберто Эко. Произведений немного, но каждое достаточно высокого уровня. Чан сейчас на 48 (на каком был до — не знаю), а вот Эко вообще в таблице нету. Хотя то же «Имя розы» 9.12 (911) (кстати, а действительно, где он? Я понимаю, что не совсем фантастика, но всё же),
 


Ссылка на сообщение7 марта 2013 г. 17:40

цитата WiNchiK

Одно дело 10 романов и все десятки — явная накрутка (100х100)


Не согласна. Например, цикл Батчера «Досье Дрездена». 11 романов пока переведено на русский язык. Я поставила все десятки. Я действительно его так оцениваю. Весь цикл на 10 оценили около 100 человек. По каждому тому отдельно многие десятки. Значит, достаточно много людей разделяют мое мнение. И таких авторов я думаю еще найдется немало.
 


Ссылка на сообщение7 марта 2013 г. 07:31

цитата Dark Andrew

Поставить Пратчетта в исключения?
Сильно опасаюсь я, что ДА, ПОСТАВИТЬ. И таких авторов можно сразу написать — от Стругацких, Лема и ниже. Но не такой это длиный список.
Я сто раз думаю, ставить «8» или «9». Если я ставлю «10», то я почти не думаю: это значит, что я книгу намерен еще и перечитать. Вроде «Гимна Лейбовичу» Миллера-Младшего. Если я поставил не десятку на «Мальпертюи» Жана Рэя, то исправлю (не помню). Раньше я это в переводе читал, теперь прочел в оригинале, — ну, ясно. С тем же Рэем это будет на рассказе «Рука Гёца фон Берлихингена».
Часто десятку не ставят именно из-за дурного перевода. «Голем» Майринка — моя десятка адресована оригиналу (на переводе Д. Выгодского было бы «8», о прочих я писал).
...Страшно думать, что я должен ставить на «Божественную комедию» Данте. Я ведь именно оригинал читал (на чем итальянский и забросил). А перевод Лозинского — даже не «9», он — 7 или 8. Переводы Мина и Голованова — по 5-6.
Так что у этой медали сторон — как у шестигранного кубика.
Но бояться не надо. Это в конце концов игра. А величайшая книга ХХ века в известном смысле именно Homo ludens Йохана Хёйзинги.
 


Ссылка на сообщение7 марта 2013 г. 02:09

цитата WiNchiK

Самый «напрашивающийся» пример — Пратчетт.

И я за него же хотел написать — Всему Плоскому миру и Коту — я ставил 9 и 10 — щас влом лезть в оценки и проверять.
Правда трилогии про Номов я поставил поменьше, а Страте и второму роману из сборника — ещё меньше.
Но в общем-то Пратчетту в целом — почти все высшие баллы...
 


Ссылка на сообщение7 марта 2013 г. 12:19
А то, что Олдисс, например, у нас как был так и остался в третьей сотне, никого не волнует?
При любом раскладе на вершине рейтинга все не поместятся, так что никаких исключений и накруток.
 


Ссылка на сообщение7 марта 2013 г. 14:05
А почему ему там не быть, если автор он отнюдь не самый популярный?
 


Ссылка на сообщение7 марта 2013 г. 16:25
Собственно, и я о том же. Рейтинг не может (и не должен) отражать объективный вклад или даже статус писателя. Так что 36-е место Пратчетта отнюдь не трагедия.
 


Ссылка на сообщение7 марта 2013 г. 16:27
36 место Пратчетта не трагедия, а неверная оценка оценок ему алгоритмом. В том и проблема, что в случае Пратчетта на самом деле очень много десяток совершенно честных.
 


Ссылка на сообщение7 марта 2013 г. 16:42
И в случае Ефремова тоже... и Кларка.... и Урсулы Ле Гуин....
 


Ссылка на сообщение7 марта 2013 г. 16:43
Не знаю никаких случаев Ефремова, Кларка и Ле Гуин.
Пратчетт, практически единственный автор у которого на 30 романов может быть 20 десяток.
 


Ссылка на сообщение7 марта 2013 г. 16:45

цитата Dark Andrew

Пратчетт, практически единственный автор у которого на 30 романов может быть 20 десяток.

Андрей, либо тогда говори «имхо», либо выходит, что все-таки рейтинг не обьективная величина, а сориентирована на чей-то конкретный вкус.8-)
 


Ссылка на сообщение7 марта 2013 г. 16:58
Я не писал, не пишу, и писать не буду ИМХО. Любая высказанная фраза без указания источника — это моё личное мнение априори. Вообще, это норма при общении.
 


Ссылка на сообщение7 марта 2013 г. 18:39
Андрей, вот в данном конкретном случае — лучше писать. Потому что не совсем понятно, когда ты озвучиваешь личное мнение, а когда обьективное мнение тебя и Леши о рейтингах.;-)
 


Ссылка на сообщение7 марта 2013 г. 16:53
А у Ефремова на 4 романа не может быть 4 десятки?
 


Ссылка на сообщение7 марта 2013 г. 16:58
На выборке в несколько тысячи человек? Нет, не может.
 


Ссылка на сообщение7 марта 2013 г. 16:57
Простите, давайте не будем отклонятся в сторону «вкусовщины».
Либо Пратчетт не может писать каждый год по шедевру, либо по шедевру в год может писать не только он.
 


Ссылка на сообщение8 марта 2013 г. 18:44
Мда, странно, что будет выносится в исключение только Пратчетт. Сделайте тогда отдельную тему, в которой аргументированно высказываются пользователи сайта кого вынести в исключения. Есть целый ряд авторов у которых произведения нравятся сериально, особенно это касается тех кто создает нечто уникальное, как «Плоский мир». Тот же Ффорде вполне тянет на исключения.
 


Ссылка на сообщение9 марта 2013 г. 14:35
Фанаты Пратчетта подсуетились и вот он уже на 32 месте!


Ссылка на сообщение6 марта 2013 г. 22:15

цитата Dark Andrew

(вроде удивительного места Зыкова

Каюсь, мне этот высокочтимый автор и его произведения не знакомы. Но я уже понял по вашему посту, что было... Допускаю, что это в значительной степени возрастное, ведь ограничений у сайта по возрасту нет... Ох, какой я был наивный... Теперь мне многое стало понятным. Тем более надеюсь на лучшее.. А вот лайки наверное нужно вообще отменить. Эта попсятина поперла из социальных сетей... После некоторого расстройства ввиду получения отрицательных «лайков», когда честно высказал свое несколько невысокое мнение по какому-то произведению (не 1-цу, конечно, а может 6 или 7, хотя книгу и оставил у себя...для потомков)...просто перестал их смотреть. Мне кажется, само написание отзыва говорит о том, что человек так прочувствовал, что не поленился, наше время написать...ну как сам...
свернуть ветку
 


Ссылка на сообщение9 марта 2013 г. 15:03

цитата CharlieSmith

когда честно высказал свое несколько невысокое мнение по какому-то произведению (не 1-цу, конечно, а может 6 или 7, хотя книгу и оставил у себя...для потомков)

Извините, что вмешиваюсь, но минусы скорее всего ставили не за оценку, а за дичайшие спойлеры. Вы ведь всю книгу пересказали, вместе с мелкими тайнами и секретами. В принципе, такие отзывы админы стараются удалять, но в вашем случае, видимо, не заметили.
Так что не в лайках и вкусах дело. 8:-0


Ссылка на сообщение6 марта 2013 г. 22:20
такой вопрос по 10. К примеру у автора на фантлабе присутствует одна трилогия только. Я ставлю за нее 10 и по каждой книге 10, т.к. считаю ее гениальной и жизнеопределяющей, это получается что мои оценки пропадают, и мне нужно их искусственно занижать? или в продолжение: есть автор пишущий в отличной от других манере, уникальный, отличающийся от всех. и фактически все его произведения оцениваю высоко. Это оценка и за само произведение и за уникальность. В данном случае в голову сразу приходит Левшин. А получается, что мои оценки будут уменьшены?
по 1,2,3 если к примеру цикл то бывает чисто из спортивного интереса читаешь следующую книгу, чтобы понять чем все так восторгаются, — но понимаешь что это нечитабельно. и всему циклу я ставлю 1 это тоже не учитывается?
и еще вопрос будут ли введены отрицательные оценки? для книг, читать которые вредно. но если ставишь такую оценку то должен подробно изложить в отзыве почему.
Спасибо
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:26
Очень правильный вопрос. И у меня нет козыря в рукаве, который крыл бы с ходу.
Долго думал над этим. Да, бывают шедевральные эпопеи, которым не грех поставить несколько десяток. Пока я не знаю как грамотно ввести эту коррекцию. Продолжу думать.
Пока что главное понимать — чтобы вес сильно снизился, это должна быть ОЧЕНЬ большая эпопея (где все десятки). В случае единиц — вам придётся ОЧЕНЬ долго плеваться и ставить единицы, прежде чем вес снизится.
 


Ссылка на сообщение9 марта 2013 г. 14:38
Как накручивал оценки народ так и будет! Не заморачивайтесь, ставьте оценки не думая ни о каком весе собственного мнения!


Ссылка на сообщение6 марта 2013 г. 22:22
Эх, у меня «низкий» вес. Подозреваю за сплошные десятки всяким Стругацким и Брэдбери, это нехорошо, да? Опять таки у Толкина читал только четыре романа — угадайте как оценил. Забавно, но высокая оценка за всего лишь четыре произведения мне снижает вес, несмотря на то что автор сейчас ТОП-1 и вроде как заслуживает свои десятки.
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:33
Обилие десяток не снижает общий Ваш вес. Только при вычислении рейтинга этого конкретного автора. К тому же черыте десятки — это нормально.


Ссылка на сообщение6 марта 2013 г. 22:24
О! Не могу не сказать. После просмотра г. (г..., грандиозного, кому как нравится) фильма «Автостопом по Галактике!», не могу согласиться с тем, что Дуглас Адамс лучше Кларка, Павлова, Снегова, Винджа, Ефремова, Гаррисона, и...многих других (ой и Бэнкса)... Жаль...
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:26
Дык, Адамса то не смотреть надо, а читать!


Ссылка на сообщение6 марта 2013 г. 22:25

цитата

нормальность распределения оценок (степень совпадения с общесредней по сайту),
Какая-то уровниловка.
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:37
У Вас ведь не три ноги и не две головы. :-)
Если бы все были одинаковыми, не было бы психологии и медицины.
Всегда есть общие факторы. Я живу в другом городе, у меня другая жизнь, другая работа. Но я, как и вы, по утрам чищу зубы, завтракаю и отправляюсь на работу. Это статистика.
 


Ссылка на сообщение7 марта 2013 г. 13:10
Ничего не понял. Впрочем, возможно, так и было задумано.


Ссылка на сообщение6 марта 2013 г. 22:30

цитата Опоссум

Адамса то не смотреть надо, а читать!

Вполне возможно. Даже жалею, что сразу не оговорился... Ну а Вы сами, простите великодушно, именно так его позиционируете в рейтинге по сравнению с названными мной авторами? И, извините за нескромный вопрос, вы названных мной авторов читали? Только не отвечайте здесь — просто задайте этот вопрос себе мысленно и ответьте...
А вообще, знаете, прожив много лет и прочитав «море» книг, мне кажется познал истину — даже при чтении многих авторов, многих книг и даже при повторном перечитывании в разном возрасте и возможности переоценки, невозможно ничего советовать вовсе...поскольку количество прочитанных тобой книг-произведений столь малочисленно в общей массе, что твоя оценка «плюс-минус километр»...Точнее советовать-то можно, но оговаривать возраст, IQ :-D, пол, образование, число прочитанных книг...и ...«не знаю, мне понравилось!»... Вот не пойму, что меня заставляет больше верить оценке, как бы их назвать одним словом, ведущим колонки, активным участникам дискуссий (флудеров вроде не заметил вовсе)?..Может быть, потому что некие мысли и чувства созвучны? А еще уверен, что в советское время издавали или печатали в журналах все-таки основную массу «хороших произведений», хотя бы потому, что в условиях отсутствия высокой мотивированности в деньгах (не на что было тратить, да и почти невозможно заработать), переводчики, да и вся страна, много читали, авторитет вырабатывался куда большим числом граждан не на сайтах, а слухами...на «черных рынках»...Издавали лучшее...не без изъянов (политического характера), конечно. Ну и так далее.. ... Так что им и решать, и администрации сайта...И дай бог им и далее не оставаться равнодушными, к истине...п_р_и_б_л_и_ж_а_т_ь_с_я...
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:39
Ну, Кларка и Ефремова я бы конечно вперёд поставил, про остальных молчу. Опять же не будем забывать, что весь мир можно поделить на тех кто смеётся над британскими шутками и на тех кто их не воспринимает. Тут уж от вкуса зависит.
Вообще ошибка рейтинга — не высокая позиция Адамса, а не низкая всех остальных, если уж они правда такие замечательные.


Ссылка на сообщение6 марта 2013 г. 22:30
Согласен с V-a-s-u-a. Не получится ли так, что придется, во имя того, чтобы вес свойповысить/оставить на прежнем уровне, не ставить оценку, на которую ты реально оценил произведение, а ставить так, чтобы соблюдалась «степень совпадения с общесредней по сайту»?
свернуть ветку
 


Ссылка на сообщение6 марта 2013 г. 22:39
Нет, не придётся. Вопрос, повторюсь, не в совпадении Ваших оценок с другими, а в совпадении распределения этих оценок. Разные вещи.
 


Ссылка на сообщение6 марта 2013 г. 22:59

цитата creator

не в совпадении Ваших оценок с другими, а в совпадении распределения этих оценок.


что значит «в распределении этих оценок»? т.е. скажем так, условный человек которому не нравится Толкин, Мартин, Булгаков и т.д. и ставящий им низкие оценки, но при этом ставит высокие оценки Орловскому, Майеру, Левицкому не имеет вообще никакого веса и может в принципе оценки не ставить? :-))) теоретически я допускаю что такой человек может найтись
 


Ссылка на сообщение6 марта 2013 г. 23:44
Я, например :-))) .
Мне теперь можно вообще не беспокоиться и не ставить оценки, на меня внимания обращать не положено :-)))
 


Ссылка на сообщение7 марта 2013 г. 00:05
Нет-нет, речь не о конкретных оценках конкретным авторам, речь о распределении оценок.
 


Ссылка на сообщение7 марта 2013 г. 00:18
Ладно, тогда объясните, чем системе не нравится мое распределение баллов. Вроде, десятками и единицами не увлекаюсь.
 


Ссылка на сообщение7 марта 2013 г. 00:57
Вопрос не понял, в каком смысле не нравится?
 


Ссылка на сообщение7 марта 2013 г. 01:05
На странице 5 я пояснила.
Вроде, гистограмма близка к идеалу, а степень доверия низкая.
Одному автору ставлю от 2 до 10, особенно если его книг прочитано много.
Вот и хотелось бы знать, что не так.
 


Ссылка на сообщение7 марта 2013 г. 01:07
Я там уже ответил — это технический вопрос, с ним только creator сможет завтра разобраться.
 


Ссылка на сообщение7 марта 2013 г. 08:28
У Вас не из-за гистограммы низкий вес. Просто по другим факторам пустовато.
 


Ссылка на сообщение7 марта 2013 г. 00:55

цитата Dark Andrew

Нет-нет, речь не о конкретных оценках конкретным авторам, речь о распределении оценок


я уже спросил выше, что значит «распределение оценок»? есть какой-то закон распределения оценок?
 


Ссылка на сообщение7 марта 2013 г. 00:57
Вообще, конечно, есть нормальное распределение, но какая именно методика сейчас знает только creator


Ссылка на сообщение6 марта 2013 г. 22:31
Мне — понравилось. Рейтинг авторов стал более похож на правду :beer:


Ссылка на сообщение6 марта 2013 г. 22:44
Все вроде логично. Основные замечания уже высказаны. На свой рейтинговый вес мне наплевать.
Не понял только одного. Где можно посмотреть рейтинг?
«Рейтинги»- «Рейтинг романов» — указана средняя оценка — «Ср. оценка(кол-во оценок)». Та, которая показывается и на странице произведений.
«Рейтинги»- «Рейтинг авторов» — тоже «Ср. оценка».
Или он нигде не показывается, а влияет только на сортировку в списке? Если так, то будет ли аналогичная сортировка использоваться в «Авторы, книги»- «Поиск по жанру»? Вроде там написано «Рейтинг», но для десятка протестированных книг, полностью совпадает со средней оценкой.
Страницы: 123456789101112

⇑ Наверх