Рейтинг авторов и


Вы здесь: Авторские колонки FantLab > Рубрика «Новости ФантЛаба» > Рейтинг авторов и произведений
Поиск статьи:
   расширенный поиск »

Рейтинг авторов и произведений

Статья написана 6 марта 2013 г. 20:24
Размещена:

Произошли существенные изменения в методике расчёта рейтинга авторов и рейтинга произведений. Целью нововведений явилась необходимость повысить адекватность рейтингов, их устойчивость к недобросовестным оценкам, повысить ваше доверие к ним.

Чтобы дальнейший материал был понятен, попрошу различать «среднюю оценку» и «рейтинг». Это разные вещи. Средняя оценка показана на странице произведения, на странице автора. Она считается как простое среднее, где все оценки равноправны. Рейтинг же учитывает все оценки в разных весовых долях. В его расчёте применяются различные коэффициенты и коррекции с целью устранить шум, оставив лишь полезную, заслуживающую доверия информацию. Конечной целью рейтинга является правильная расстановка элементов в рейтинговой таблице. Само по себе значение отдельно взятого рейтинга не интересно.

Итак, что же конкретно изменилось.

Введён оценочный вес посетителя. Каждому зарегистрированному посетителю сайта присвоен оценочный вес, который носит физический смысл в количественном отражении степени доверия рейтинговой системы сайта оценкам посетителя. Степень доверия оценкам можно рассчитать лишь косвенно и примерно (в голову ведь не залезешь никому), но погрешность расчёта должна быть нивелирована высокой репрезентативностью, т.к. рейтинги имеют дело с большим множество оценок, где сумма незначительных ошибочных отклонений близка к нулю (как средняя температура по больнице = 36.6). Среди критериев, которые в первую очередь определяют оценочный вес, числятся: кол-во баллов (лайков) за отзывы, кол-во баллов (лайков) за посты в форумах о фантастике и фэнтези, количество подписчиков в авторской колонке, нормальность распределения оценок (степень совпадения с общесредней по сайту), количество оценённых авторов (если очень мало, вес снижается), а также позитивная активность посетителя на сайте (кол-во оценок, классифицированных произведений, заявок на дополнение базы и т.д.). Последнее — в крайне малой степени. «Прокачать» себе вес методом оценивания всей базы или рецидива флуда на форуме уже не возможно.

Теперь рейтинг будь то автора, будь то произведения вычисляется в весовых долях. Оценки посетителей, которым рейтинговая система доверяет (оценочный вес высок), играют при расчёте много более важную роль. Оценки однодневных посетителей, зашедших только ради накрутки любимого автора в рейтинге, сведены практически к нулю.

Формула расчёта оценочного веса, а также сами оценочные веса посетителей не публикуются по ряду соображений.

Рейтинг автора теперь основан в большей степени на известных, популярных его произведениях. Равноправия между романом, который является, по сути, лицом/визиткой автора, и рассказом, который печатался бог весть где и бог весть когда, уже нет. За степень известности произведения условно принято количество выставленных оценок. Поэтому в расчёте рейтинга автора гораздо большую роль играют его произведения с большим количеством оценок.

Коррекции рейтинга автора. Одна из коррекций нами с любовью названа «анти-мазохист». Вес множества единиц, двоек, а где-то и троек, выставленных одному автору, система режет вплоть до нуля. Логика простая — если первая прочитанная книга автора не понравилась до тошноты (а единица примерно это и предполагает), то ни один нормальный человек не заставит себя читать вторую, третью, пятую, десятую. Да, может, ему пришлось давиться (например, в поезде неделю ехал, и больше нечего было читать, а совсем не читать не может по натуре), но на всякий случай мы такое исключили.

Другая коррекция называется «анти-подхалим». Суть примерно та же. Любители оценить всего автора на 10 на свой вклад в рейтинг авторов теперь вряд ли могут рассчитывать. Не такая суровая коррекция, как «анти-мазохист», но тоже весьма. Логика: писать шедевр за шедевром — непозволительная роскошь для хомо сапиенса с ограниченными возможностями мозга. Да, сейчас вы приведёте кучу опровергающих примеров, я знаю, но, опять таки, эти оценки исключаются подальше от греха, а также от других оценок, которые хотя бы выглядят адекватно.

В рейтинге произведений добавлен расчёт по оценочному весу произведения. Других изменений в рейтинге произведений не произошло. Как видите, основные изменения постигли именно рейтинг авторов.

Готов ответить на вопросы.

UPD: баллы за сообщения на форумы исключены из оценочного веса.





4844
просмотры





  Комментарии
Страницы: 123456789101112


Ссылка на сообщение7 марта 2013 г. 12:55
Считаю изменения вполне оправданными, за исключением учёта лайков за посты на форуме. В остальном всё справедливо, хотя и обидно, что многие любимые авторы, знаменитые одним циклом-серией поехали в рейтинге вниз. Но понимаю, что отцов-основателей и админов просто вконец достали такие деятели, как вот этот http://fantlab.ru/user90209/marks например.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:07
Лайки за посты отключены.
 


Ссылка на сообщение7 марта 2013 г. 14:14
ай-ай-ай
65 лет дядьке, а такой фигней мается


Ссылка на сообщение7 марта 2013 г. 13:06
С уважением отношусь к работе тех, кто сайт задумал и ведёт. Если кого-либо не удовлетворяют те или иные особенности сайта — никто не неволит им пользоваться.
Тут есть много полезного и для меня, интересующейся развитием фэндома как такового, — открыта новая глава внутрифэндомных дискуссий:-)

Возникло только вот какое сомнение (уже высказанное кем-то выше, но не получившее пока определённого ответа ): Если я оцениваю произведения небольшого количества авторов чей уровень мастерства стабилен, а идеи оригинальны и интересны, не одними десятками, с небольшим процентом 9 и 8, — значит, эти оценки не учитываются при общем рейтинге писателей совсем?
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:08
Вот как раз сейчас идёт работа в данном направлении...


Ссылка на сообщение7 марта 2013 г. 13:53

цитата AnCraMF

на многоуважаемом сайте с кино-рейтингами (imdb)

Вот спасибо! Только хотел напомнить про этот сайт. Насколько он смотрится выгодней сайта школоты kinopoisk.ru. Мне наплевать, какая там методика рейтинга, но мне повезло — методика рейтинга imdb такова, что 80% фильмов с высокими рейтингами (top100 или 50) нравятся и мне... Что же еще нужно, чтобы не смотреть все фильмы... Нужно уточнить, что при просмотре фильмов невысокого рейтинга тоже на 80% я их оцениваю близко к рейтингу.. Я уже писал, что эта буквальная «абсолютная честность» учета максималистски настроенных коллег, а может быть и просто хулиганов, никому не нужна. Никому не нужен рейтинг, которым нельзя даже самую малость пользоваться. Если 1-й коллега поставил за 1-ю книгу 1, а за вторую — 10, а второй наоборот, поставил за 1-ю книгу 10, а за вторую 2, то средний балл по обеим 5.... Вот и пользуйтесь таким рейтингом... Критерий один — если рейтинг вас устраивает на 70-80-90% степенью его полезности для вас при выборе, что почитать или что купить, пользуйтесь наздоровье... Если устраивает старый — пишите для себя свой и наслаждайтесь, любуясь на него...точно будете довольны...


Ссылка на сообщение7 марта 2013 г. 13:54
Рейтинг снова поменялся?
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:08
Да, идёт тестирование и наладка.


Ссылка на сообщение7 марта 2013 г. 14:10

цитата Dark Andrew

Самоочевидность концепции — это весьма оригинальная формулировка.

И самое главное целиком ваша.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:13

цитата Уленшпигель

Глупость самой концепции самоочевидна

И то верно, неправильно процитировал. Самоочевидная глупость — ещё лучше. Сама себе глупость очевидна. Точно.


Ссылка на сообщение7 марта 2013 г. 14:24
При такой сложной и довольно надуманной системе рейтинги становятся весьма произвольными (фактически вводится экспертная вкусовщина) и потому ценность рейтингов будет на практике невелика...

Средние оценки репрезентативнее...
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:36
вкусовщины тут быть не может, т.к. вкусовщина подразумевает, что есть чей то вкус, служающий основной


Ссылка на сообщение7 марта 2013 г. 14:32

цитата lena_m

При такой сложной и довольно надуманной системе рейтинги становятся весьма произвольными

Что очевидно. И что судя по объяснениям понимают сами адепты данной системы, что весьма недвусмысленно следует из разъяснений о цели сих нововведений.

цитата lena_m

Средние оценки репрезентативнее...

Они безусловно не идеальны, особенно в случае, когда толпа скорбных на голову специально плодит кучу аккаунтов для накрутки. но суть в том, что предлагаемое лекарство хуже болезни. Да и вообще сама концепция вызывает в памяти анекдот про самозваного врача, который лечил кашель слабительным.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:37
Вы не привели ни одного аргумента почему новая система хуже старой, кроме того, что для вас это очевидно, что аргументом для других не является.
 


Ссылка на сообщение8 марта 2013 г. 11:01

цитата Уленшпигель

особенно в случае, когда толпа скорбных на голову специально плодит кучу аккаунтов для накрутки. но суть в том, что предлагаемое лекарство хуже болезни.

Теории мирового заговора?
Да кому это нужно? У большинства админов и модераторов у самих-то средний рейтинг репрезентативности. И подозреваю, что им глубоко на это плевать.

Брызжите слюной и изображаете оскорблённое достоинство на пустом месте. Теории мирового заговора нет. Просто тестируются более тонкие формулы расчёта, призванные защитить от накруток. Чтобы рейтинг хоть как-то снизился, надо одному и тому же писателю поставить 10-20 единиц или десяток, не ставя никаких других оценок. Или вообще весь свой лист пользователя забить именно такими цифрами. У остальных снижение коэффициента равно что-то вроде 0,001. Опять мухи из слонов полезли...


Ссылка на сообщение7 марта 2013 г. 14:43
«нормальность распределения оценок (степень совпадения с общесредней по сайту)»
То есть в основу положено соответствие мнения общесреднепринятому.
Глупость сего выражения также самоочевидна. Смысл масла масляного может быть постигнут только через высокий дзен...
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:48
Ещё раз. Пятый, по-моему. Мнение тут не причём. Речь не о совпдании оценки, а о совпадении распределения оценок. Вообще, это базовая математическая основа любого вменяемого рейтинга, используемая, чтобы отбросить заведомо недостоверные результаты.


Ссылка на сообщение7 марта 2013 г. 14:43

цитата Dark Andrew

ни одного аргумента почему новая система хуже старой


Андрей, ну самый очевидный аргумент — при новой системе невозможно будет понять, как получаются рейтинги тех-иных авторов...

А если понять сие невозможно, то и практический смысл теряется — лучше уж среднюю оценку посмотреть да отзывы почитать...
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 14:50
И сильно вам мешает не знание алгоритма рейтинга использовать рейтинги IMDB по фильмам или AG.ru по играм? Собственно, оценку произведениям вы и так смотреть можете — и это правильно, потому что на одном произведении вы сами увидите, что там не так с оценками, а вот в целом по автору это должна делать система.
 


Ссылка на сообщение7 марта 2013 г. 17:08
Оффтоп (я потерялся в этом море комментов): параметры «высокий, средний, низкий» (вклады в рейтинг) убрали из инфы, да? Ночью было, сейчас не вижу вроде.
 


Ссылка на сообщение7 марта 2013 г. 17:09
Их убрали, а кроме того, там ещё всяких изменений сделали немало, то есть форумы не влияют точно. В общем, продолжаем доводить до ума.


Ссылка на сообщение7 марта 2013 г. 14:52
Подразбавлю критические отзывы, а то от «этих ваших» «самоочевидных» вещей деваться прям некуда :)

С моей точки зрения нововведения разумны. Я бы их сравнил с борьбой поисковых систем (Гугл, Яндекс) с сеошниками, «в топ поднимающими». И, продолжая аналогию, алгоритмы Гугла и Яндекса непубличны, но это не мешает ими пользоваться. То есть смысл как-то не теряется :-)
Страницы: 123456789101112

⇑ Наверх