Рейтинг авторов и


Вы здесь: Авторские колонки FantLab > Рубрика «Новости ФантЛаба» > Рейтинг авторов и произведений
Поиск статьи:
   расширенный поиск »

Рейтинг авторов и произведений

Статья написана 6 марта 2013 г. 20:24
Размещена:

Произошли существенные изменения в методике расчёта рейтинга авторов и рейтинга произведений. Целью нововведений явилась необходимость повысить адекватность рейтингов, их устойчивость к недобросовестным оценкам, повысить ваше доверие к ним.

Чтобы дальнейший материал был понятен, попрошу различать «среднюю оценку» и «рейтинг». Это разные вещи. Средняя оценка показана на странице произведения, на странице автора. Она считается как простое среднее, где все оценки равноправны. Рейтинг же учитывает все оценки в разных весовых долях. В его расчёте применяются различные коэффициенты и коррекции с целью устранить шум, оставив лишь полезную, заслуживающую доверия информацию. Конечной целью рейтинга является правильная расстановка элементов в рейтинговой таблице. Само по себе значение отдельно взятого рейтинга не интересно.

Итак, что же конкретно изменилось.

Введён оценочный вес посетителя. Каждому зарегистрированному посетителю сайта присвоен оценочный вес, который носит физический смысл в количественном отражении степени доверия рейтинговой системы сайта оценкам посетителя. Степень доверия оценкам можно рассчитать лишь косвенно и примерно (в голову ведь не залезешь никому), но погрешность расчёта должна быть нивелирована высокой репрезентативностью, т.к. рейтинги имеют дело с большим множество оценок, где сумма незначительных ошибочных отклонений близка к нулю (как средняя температура по больнице = 36.6). Среди критериев, которые в первую очередь определяют оценочный вес, числятся: кол-во баллов (лайков) за отзывы, кол-во баллов (лайков) за посты в форумах о фантастике и фэнтези, количество подписчиков в авторской колонке, нормальность распределения оценок (степень совпадения с общесредней по сайту), количество оценённых авторов (если очень мало, вес снижается), а также позитивная активность посетителя на сайте (кол-во оценок, классифицированных произведений, заявок на дополнение базы и т.д.). Последнее — в крайне малой степени. «Прокачать» себе вес методом оценивания всей базы или рецидива флуда на форуме уже не возможно.

Теперь рейтинг будь то автора, будь то произведения вычисляется в весовых долях. Оценки посетителей, которым рейтинговая система доверяет (оценочный вес высок), играют при расчёте много более важную роль. Оценки однодневных посетителей, зашедших только ради накрутки любимого автора в рейтинге, сведены практически к нулю.

Формула расчёта оценочного веса, а также сами оценочные веса посетителей не публикуются по ряду соображений.

Рейтинг автора теперь основан в большей степени на известных, популярных его произведениях. Равноправия между романом, который является, по сути, лицом/визиткой автора, и рассказом, который печатался бог весть где и бог весть когда, уже нет. За степень известности произведения условно принято количество выставленных оценок. Поэтому в расчёте рейтинга автора гораздо большую роль играют его произведения с большим количеством оценок.

Коррекции рейтинга автора. Одна из коррекций нами с любовью названа «анти-мазохист». Вес множества единиц, двоек, а где-то и троек, выставленных одному автору, система режет вплоть до нуля. Логика простая — если первая прочитанная книга автора не понравилась до тошноты (а единица примерно это и предполагает), то ни один нормальный человек не заставит себя читать вторую, третью, пятую, десятую. Да, может, ему пришлось давиться (например, в поезде неделю ехал, и больше нечего было читать, а совсем не читать не может по натуре), но на всякий случай мы такое исключили.

Другая коррекция называется «анти-подхалим». Суть примерно та же. Любители оценить всего автора на 10 на свой вклад в рейтинг авторов теперь вряд ли могут рассчитывать. Не такая суровая коррекция, как «анти-мазохист», но тоже весьма. Логика: писать шедевр за шедевром — непозволительная роскошь для хомо сапиенса с ограниченными возможностями мозга. Да, сейчас вы приведёте кучу опровергающих примеров, я знаю, но, опять таки, эти оценки исключаются подальше от греха, а также от других оценок, которые хотя бы выглядят адекватно.

В рейтинге произведений добавлен расчёт по оценочному весу произведения. Других изменений в рейтинге произведений не произошло. Как видите, основные изменения постигли именно рейтинг авторов.

Готов ответить на вопросы.

UPD: баллы за сообщения на форумы исключены из оценочного веса.





4994
просмотры





  Комментарии
Страницы: 123456789101112


Ссылка на сообщение7 марта 2013 г. 18:46
Короче, ерунда все это. Какое-то МТА, настрочившее десяток-другой безликих романов, и классики уровня Хайнлайна — даже сравнивать глупо. Я прочел все изданные у нас произведения Джека Вэнса, впечатлился, наставил честных десяток, и что дальше? Еще пара штук, и все? На рейтинг не влияют? А Вэнс за свою карьеру написал сотни три-четыре произведений, среди них вполне может для фаната найтись штук тридцать первоклассных! В общем, вынуждаете халтурить, исправлять десятки на девятки, и так далее, для поднятия рейтинга классиков
свернуть ветку
 


Ссылка на сообщение8 марта 2013 г. 12:41
1) рейтинг произведений считается по-старому 2) Режется (да и то частично), если у вас стоят ТОЛЬКО десятки на всех произведениях автора.

Читаем ответы модераторов и админов, а потом судим.


Ссылка на сообщение7 марта 2013 г. 19:12
Мне кажется, нужно ввести для оценок подсказки. Что-то вроде «10 = шедевр», «9 = очень хорошо», ... «5 = сойдёт для чтения в транспорте», ... «1 = хуже уже просто некуда».
Тогда мнения читателя о произведении будет отражено более точно. Сейчас же каждый ставит циферку по какой-то своей субъективной градации. Чтобы в этом убедиться, достаточно прочитать комментарии читателей к произведениям. Вот кто-то расхваливает книгу, рассказывает, как она ему понравилась. Смотришь на оценку -- стоит семёрка. Значит, не так уж и понравилась? А вот другой комментарий: произведение полнейшая дрянь, читать не стоит ни при каких обстоятельствах, это просто потерянное время... и оценка: четвёрка. Раз четвёрка, а не единица -- значит, не так уж и плохо?
Я для себя выработал некую градацию оценок, но она точно так же субъективна, и я не знаю, насколько близко она соотносится с той градацией, которую выработали для себя другие читатели. Так что предлагаю систему подсказок. Или вообще убрать цифры -- пусть цифры считает движок сайта, а читатель пусть выбирает соответствующий отзыв на понятном языке.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 20:09
Я тоже за подсказки. Просто физически не могу выставить кому-то «1» (может вы про мою «4» читали?:-)))). Писал же человек, старался. А «10» ставлю любимым произведениям.
 


Ссылка на сообщение8 марта 2013 г. 12:47
У каждого по-разному, соглашусь. Чуть ранее тут писали, что большая часть оценок на фантлабе — восьмёрки. А у меня лично огромный перекос в семёрки. Потому что 8 — понравилось 9 — великолепно 10 — ставлю ооочень редко 1\200 только шедеврам из шедевров.

А семь — это универсальная оценка. Понравилось, но простовато. Не понравилось, но произведение серьёзное, много умных мыслей, ладно, 7. Читала когда-то давно в детстве, сейчас бы точно влепила от силы 5-6, но тогда понравилось. Будет 7. И так далее...
 


Ссылка на сообщение8 марта 2013 г. 19:44

цитата Kima Kataya

Читала когда-то давно в детстве, сейчас бы точно влепила от силы 5-6, но тогда понравилось. Будет 7


а как можно оценивать детское (подростковое) произведение по-взрослому? в таком случае у Волкова сейчас были бы одни 3-5, только его оценивают по детским ощущениям. Поэтому современные детские писатели занижены почти все. чисто ради эксперимента дайте оценить своему ребенку книгу современного автора, которому ставите низкую оценку и сравните.
 


Ссылка на сообщение9 марта 2013 г. 00:50
Да я так же рассуждаю) Поэтому использую 7 как нижний потолок положительной оценки. Но есть детские произведения, которые и сейчас ценю высоко. Тот же «Ходячий замок».
 


Ссылка на сообщение9 марта 2013 г. 14:49
меня тоже 7 лидирует! а вообще всеми оценками пользуюсь, реже всего — 10-ми.


Ссылка на сообщение7 марта 2013 г. 19:16

цитата Sam_T

Тогда мнения читателя о произведении будет отражено более точно. Сейчас же каждый ставит циферку по какой-то своей субъективной градации.
Именно! Вы просто не понимаете, для чего нужны оценки. Они нужны для того и исключительно для того, чтобы работал персональный сервис рекомендаций и больше ни для чего. Оценки не являются каким-либо критерием какчества произведения, а лишь отношения читателя к нему.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 19:23

цитата andrew_b

для чего нужны оценки. Они нужны для того и исключительно для того, чтобы работал персональный сервис рекомендаций и больше ни для чего.

Вот мне кажется, что этот самый сервис (только для которого, с вашей точки зрения, и нужны оценки) будет работать лучше, если оценки будут выставляться по одинаковой методике (то есть когда оценивающие будут разделять понимание, что означает оценка такая-то). О чем, собственно, и пишет Sam_T.
 


Ссылка на сообщение7 марта 2013 г. 19:44

цитата senso_inglese

только для которого, с вашей точки зрения
Это не с моей точки зрения. Это, если хотите, официальная позиция сайта. Об этом много раз говорилось в соответствующих темах форума.
 


Ссылка на сообщение7 марта 2013 г. 19:45
Но ведь от того, что ваша точка зрения совпадает с официальной позицией сайта, она же не перестает быть вашей, правильно? ;-)
 


Ссылка на сообщение7 марта 2013 г. 19:51
Не надо демагогии.
 


Ссылка на сообщение7 марта 2013 г. 19:30

цитата andrew_b

Оценки не являются каким-либо критерием какчества произведения, а лишь отношения читателя к нему.

Но поскольку универсальной шкалы оценки нет, то читатель, для которого семёрка означает «великолепная книга» и читатель, у которого семёрка это «средненько, но для почитать в самолёте сойдёт» попадают в одну группу «единомышленников». А потом недоумевают, когда в рекомендациях попадается какой-то треш :-)
 


Ссылка на сообщение7 марта 2013 г. 19:45

цитата Jozef Nerino

читатель, для которого семёрка означает «великолепная книга» и читатель, у которого семёрка это «средненько, но для почитать в самолёте сойдёт» попадают в одну группу
Далеко не всегда они попадают в одну группу. Благодаря тому, что рекомендательная система давно учитывает пресловутую «нормальность распределения оценок» и вносит поправочный коэффициент.
 


Ссылка на сообщение7 марта 2013 г. 20:41

цитата Славич

Благодаря тому, что рекомендательная система давно учитывает пресловутую «нормальность распределения оценок» и вносит поправочный коэффициент.

А можно с этого места поподробнее? -)
 


Ссылка на сообщение7 марта 2013 г. 21:00
Заходите в рекомендации. Видите ссылку «мои единомышленники и антиподы»? В открывшимся списке щёлкаете по квадратику с буквой «К». Затем прокручиваете страницу до конца, там строчка

цитата

Но для вычисления меры подобия M=0.67 вносятся ещё три поправочных коэффициента, зависящих от количества парных оценок (Km=0.9977) и от величины критерия нормальности их распределения по шкале [1..10] для посетителя Славич (Kr1=0.9644) и посетителя ... (Kr2=0.9590).

Предположим, Вы поставили 10 баллов пяти произведениям и пользователь N поставил по 10 баллов тем же произведениям. Но Вы привыкли выставлять разные оценки, а N — только десятки. Следовательно, доверия N будет меньше — ваши индивидуальные системы оценок принципиально разнятся. Таким образом, N не попадёт в число Ваших единомышленников и не будет влиять на рекомендации.
 


Ссылка на сообщение7 марта 2013 г. 21:28
А что подразумевается под

цитата

величины критерия нормальности их распределения по шкале [1..10]

?
 


Ссылка на сообщение7 марта 2013 г. 21:39
Как Вы знаете, в профиле каждого пользователя можно посмотреть выставленные им оценки. Там же есть график распределения оценок. Система автоматически определяет насколько у Вас или у меня распределение соответствует среднему по сайту: четвёрок меньше чем восьмёрок и т.п. — где-то здесь уже писал подробнее.
Так, есть пользователи, что выставляют только 1 и 10, игнорируя остальные оценки. Зачем Вам их мнение при расчёте рекомендаций? Ваши системы оценок всё равно не совпадают.
Система сравнивает Ваши с пользователем N оценки между собой, а также с этим средним распределением и вносит поправку.
 


Ссылка на сообщение7 марта 2013 г. 21:49
То есть, это соответствие постоянная величина?
Просто на разных страницах эти цифры разные.
 


Ссылка на сообщение7 марта 2013 г. 21:57
Получается, что цифры разные. Система ведь сравнивает распределение моих оценок не только со средними по сайту (которые меняются медленно), но и с распределением оценок разных пользователей.
По крайней мере понимаю так...8:-0
 


Ссылка на сообщение7 марта 2013 г. 22:19
Сложно всё :-)
Спасибо :beer:
 


Ссылка на сообщение7 марта 2013 г. 19:49

цитата Jozef Nerino

Но поскольку универсальной шкалы оценки нет, то читатель, для которого семёрка означает «великолепная книга» и читатель, у которого семёрка это «средненько, но для почитать в самолёте сойдёт» попадают в одну группу «единомышленников».
Нет. Рекомендации работают по «мере подобия» лаборантов. Поэтому, для которых семёрка означает «великолепная книга», образуют свою группу «единомышленников», а те, для которых семёрка это «средненько -- свою. Уж миротворцу это странно объяснять.
 


Ссылка на сообщение7 марта 2013 г. 20:41

цитата andrew_b

Нет. Рекомендации работают по «мере подобия» лаборантов. Поэтому, для которых семёрка означает «великолепная книга», образуют свою группу «единомышленников» , а те, для которых семёрка это «средненько -- свою. Уж миротворцу это странно объяснять.

Мой ранг означает всего лишь, что я за свою жизнь много книг прочитал — и не поленился потратить время на их оценку на сайте, и не предполагает наличия каких-то сакральных знаний о его внутренней механике ;-)
Насколько я понимаю систему «незримых связей», то «коэффициент подобия» считается просто по соответствию парных оценок: много одинаковых оценок — «единомышленник», много разных — причём с разницей больше 2-3 баллов — «антипод». Откуда здесь могут взяться разные группы, я не вижу :-)
Если ошибаюсь — поправьте?


Ссылка на сообщение7 марта 2013 г. 19:42
«Антимазохист» не на все случаи жизни подходит. Я, например, если куплю сборник автора, то уж читаю от корки до корки из принципа, даже если произведения в нем совершенно не нравятся. Конечно, следующий сборник меня покупать никто не заставит:-))), но купленный грех не дочитать. Вот таким способом и может появиться целый ряд наинизших оценок, без всякого злого умысла. А теперь выходит что подобные оценки на рейтинг не влияют, хотя поставлены от чистого сердца:-(((
    (:-))))


Ссылка на сообщение7 марта 2013 г. 21:35
Раз уж тут поднялась такая тема, то за время проведенное на сайте набрел вот на такую шкалу, она мне нравится, но автора не помню :). Возможно кому то она тоже придется по душе, поэтому делюсь:
«10»>шедевр<
«9»>замечательно<
«8»>очень хорошо<
«7»>хорошо<
«6»>нормально<
«5»>терпимо<
«4»>посредственно<
«3»>плохо<
«2»>очень плохо<
«1»>не читать<
Правда честно признаюсь — моя шкала постоянно подсознательно стремится сдвинуться в верх относительно этой, а большое число лаборантов вообще используют практически лишь верхнюю ее треть :).
свернуть ветку
 


Ссылка на сообщение8 марта 2013 г. 12:59
У меня на «6» уже «плохо» :-))) а от 5 до 2 — чистая фантазия. Хочу, поставлю 3, хочу 5, разница не большая, это уже «ниже плинтуса». Только единица для особых случаев, как мерило огромного раздражения. Вроде «Сумерки» или «Беспощадной толерантности».


Ссылка на сообщение7 марта 2013 г. 21:42
Теперь по теме, а прикольные рейтинги вышли, мне отчасти даже нравятся :) Булгаков, например с рейтинга авторов, где он раньше был, если не ошибаюсь, в первой десятке или даже пятерке, теперь даже в сотню не попал. Но в рейтинге романов его МиМ таки на первом месте, с оценкой в 9,33, второе место за оценкой 9,35 ну и дальше по спадающей. Наверно рука не поднимается МиМ на второе место выставить :)
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 21:49

цитата Oreon

Булгаков, например с рейтинга авторов, где он раньше был, если не ошибаюсь, в первой десятке или даже пятерке
Булгаков не является «фантастом как таковым», откуда ему быть в рейтинге авторов?
 


Ссылка на сообщение7 марта 2013 г. 21:59
Не знаю, у него фантастика не ограничивается МиМ и достаточно яркая и мне казалось что он там был, возможно я его спутал с его МиМ которая упорно витает вверху списка, не буду спорить, наверно вы правы.
PS: Булгаков настолько разносторонен, что я до этого как-то и не задумывался куда его относить, просто фантастика его достаточно яркая, так что на фантлабе среди фантастов, он мне смотрелся достаточно органично. Теперь вот задумался, над критериями...


Ссылка на сообщение7 марта 2013 г. 22:37
Вспомнилось «Ощество мертвых поэтов» и некая шкала оценок некоего Причарда. И как страницы вырывали из книги. Правильно вырывали.
Ибо и у Орловского может найтись миллион поклонников. А у Рыбакова всего сто (я имею в виду конкретные сочинения). При этом Гай Юлий будет по прежнему туалетной бумагой, а Рыбаков умница. Уж больно мы все разные.


Ссылка на сообщение8 марта 2013 г. 12:50
Обыскал весь свой профайл и не нашёл, стоит мне доверять о нет.
Про лайки тоже не понял ничего. Это об чём? Если про оценку постов, то у меня эта функция благополучно и изначально отключена, поэтому я и не знаю, как правильно добиваться большего доверия юзеров через посредство лайков. (Или лаек?!)
свернуть ветку
 


Ссылка на сообщение8 марта 2013 г. 13:06
Показ веса в профиле уже отключили.
«Лайки» — это именно оценка постов на форуме (уже убрана из расчета рейтинга авторов). Я, кстати, у себя тоже отключил эти лайки, сразу как узнал о такой возможности.
 


Ссылка на сообщение8 марта 2013 г. 13:09
Ну вот. А они, оказывается, были важны. Недолго, но.8-)


Ссылка на сообщение8 марта 2013 г. 20:05
Кстати про антиподхалим. У меня наставлен пресс десяток рассказам Борхеса и Киплинга — бо у них обоих 1. много рассказов 2. Много офигительных рассказов.
Оба раза десятками дело не ограничивается, у обоих, имхо, есть менее удачные и даже не особо выдающиеся вещи.

Это меняет ценность моего мнения об этих атворах или нет?
свернуть ветку
 


Ссылка на сообщение25 марта 2013 г. 14:19
Если автору куча оценок, и все десятки, то ценность упадёт почти в ноль. Если хотя бы вперемежку с девятками, то если и упадёт, то незначительно.
 


Ссылка на сообщение25 марта 2013 г. 14:41
а если и с семерками — восьмерками?
 


Ссылка на сообщение25 марта 2013 г. 16:24
Тогда вообще не упадёт.
 


Ссылка на сообщение25 марта 2013 г. 19:23
отлично.
 


Ссылка на сообщение26 марта 2013 г. 22:16
а если 10 выставлены трилогии? если там нет слабых мест? и эта трилогия у автора вообще единственная?
 


Ссылка на сообщение27 марта 2013 г. 16:47
Трилогия — это всего ведь три книги. А три книги — не показатель.


Ссылка на сообщение9 марта 2013 г. 02:26
to Shean:
конечно, меняет, ваше мнение просто отбрасывается, вот и всё.

Как человек, которому доверять не стоит, — рейтинговый вес (что нынче администрацией стыдливо скрыт) «низкий», при «доверии гистограмме 98%» (это по словам самого creator, — осмыслить это невозможно, да и ни к чему), сообщу следующее: если Вам нравится автор и какие-то его произведения, прочитанные и оцененные вами, определитесь — и для поднятия их рейтинга поставьте им десятки (но не больше, чем пяти-шести) остальным влепите тройки, двойки и колы (объективность — устаревшая глупость), тогда ваше мнение будет авторитетным. Если вы считаете (как, например, я) что практически любой из рассказов Брэдбери из Марсианских хроник (ну или Борхеса, Киплинга...) заслуживает десятки — это не от большого ума, объяснит вам администрация, и ваше мнение имеет нулевую ценность — вот и все нововведения... Возможно, для каких-то логичных подвижек в рейтинге — это на пользу, но всё равно на душе гаденько как-то...
Ну и понятно, что больше оценок я выставлять не собираюсь, не вижу ни малейшего смысла, я, увы, человек старомодный и ответственный, а это нынче ни о чём и ни к чему...
свернуть ветку
 


Ссылка на сообщение9 марта 2013 г. 12:21
Какую же ерунду вы пишите с умным видом, не имея никакого представления об алгоритме расчёта, просто поразительно.
 


Ссылка на сообщение9 марта 2013 г. 15:06
мне тоже нравятся Марсианские хроники и Брэдбери один из любимых писателей! но не все рассказы хроник шедевральны. я посчитал с неканоническими хрониками у меня получилось 10 — 10, 9 — 12, 8 — 8, 7 — 12, 6 — 5, 5 — 1 и 4 — 1. Как вам удается ставить одни 10? неужели вам главное провести Брэдбери в лидеры рейтинга? что плохого в оттенках?
Страницы: 123456789101112

⇑ Наверх