Рейтинг авторов и


Вы здесь: Авторские колонки FantLab > Рубрика «Новости ФантЛаба» > Рейтинг авторов и произведений
Поиск статьи:
   расширенный поиск »

Рейтинг авторов и произведений

Статья написана 6 марта 2013 г. 20:24
Размещена:

Произошли существенные изменения в методике расчёта рейтинга авторов и рейтинга произведений. Целью нововведений явилась необходимость повысить адекватность рейтингов, их устойчивость к недобросовестным оценкам, повысить ваше доверие к ним.

Чтобы дальнейший материал был понятен, попрошу различать «среднюю оценку» и «рейтинг». Это разные вещи. Средняя оценка показана на странице произведения, на странице автора. Она считается как простое среднее, где все оценки равноправны. Рейтинг же учитывает все оценки в разных весовых долях. В его расчёте применяются различные коэффициенты и коррекции с целью устранить шум, оставив лишь полезную, заслуживающую доверия информацию. Конечной целью рейтинга является правильная расстановка элементов в рейтинговой таблице. Само по себе значение отдельно взятого рейтинга не интересно.

Итак, что же конкретно изменилось.

Введён оценочный вес посетителя. Каждому зарегистрированному посетителю сайта присвоен оценочный вес, который носит физический смысл в количественном отражении степени доверия рейтинговой системы сайта оценкам посетителя. Степень доверия оценкам можно рассчитать лишь косвенно и примерно (в голову ведь не залезешь никому), но погрешность расчёта должна быть нивелирована высокой репрезентативностью, т.к. рейтинги имеют дело с большим множество оценок, где сумма незначительных ошибочных отклонений близка к нулю (как средняя температура по больнице = 36.6). Среди критериев, которые в первую очередь определяют оценочный вес, числятся: кол-во баллов (лайков) за отзывы, кол-во баллов (лайков) за посты в форумах о фантастике и фэнтези, количество подписчиков в авторской колонке, нормальность распределения оценок (степень совпадения с общесредней по сайту), количество оценённых авторов (если очень мало, вес снижается), а также позитивная активность посетителя на сайте (кол-во оценок, классифицированных произведений, заявок на дополнение базы и т.д.). Последнее — в крайне малой степени. «Прокачать» себе вес методом оценивания всей базы или рецидива флуда на форуме уже не возможно.

Теперь рейтинг будь то автора, будь то произведения вычисляется в весовых долях. Оценки посетителей, которым рейтинговая система доверяет (оценочный вес высок), играют при расчёте много более важную роль. Оценки однодневных посетителей, зашедших только ради накрутки любимого автора в рейтинге, сведены практически к нулю.

Формула расчёта оценочного веса, а также сами оценочные веса посетителей не публикуются по ряду соображений.

Рейтинг автора теперь основан в большей степени на известных, популярных его произведениях. Равноправия между романом, который является, по сути, лицом/визиткой автора, и рассказом, который печатался бог весть где и бог весть когда, уже нет. За степень известности произведения условно принято количество выставленных оценок. Поэтому в расчёте рейтинга автора гораздо большую роль играют его произведения с большим количеством оценок.

Коррекции рейтинга автора. Одна из коррекций нами с любовью названа «анти-мазохист». Вес множества единиц, двоек, а где-то и троек, выставленных одному автору, система режет вплоть до нуля. Логика простая — если первая прочитанная книга автора не понравилась до тошноты (а единица примерно это и предполагает), то ни один нормальный человек не заставит себя читать вторую, третью, пятую, десятую. Да, может, ему пришлось давиться (например, в поезде неделю ехал, и больше нечего было читать, а совсем не читать не может по натуре), но на всякий случай мы такое исключили.

Другая коррекция называется «анти-подхалим». Суть примерно та же. Любители оценить всего автора на 10 на свой вклад в рейтинг авторов теперь вряд ли могут рассчитывать. Не такая суровая коррекция, как «анти-мазохист», но тоже весьма. Логика: писать шедевр за шедевром — непозволительная роскошь для хомо сапиенса с ограниченными возможностями мозга. Да, сейчас вы приведёте кучу опровергающих примеров, я знаю, но, опять таки, эти оценки исключаются подальше от греха, а также от других оценок, которые хотя бы выглядят адекватно.

В рейтинге произведений добавлен расчёт по оценочному весу произведения. Других изменений в рейтинге произведений не произошло. Как видите, основные изменения постигли именно рейтинг авторов.

Готов ответить на вопросы.

UPD: баллы за сообщения на форумы исключены из оценочного веса.





4828
просмотры





  Комментарии
Страницы: 123456789101112


Ссылка на сообщение6 марта 2013 г. 23:34
А я вообще ставлю либо десятки, либо единицы. «Перечитываемо» либо «нечитаемо»... Горе мне горе. Ну, ладно.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 00:15

цитата

Псевдоним Zharkovsky
Рейтинговый вес низкий

Лаврентий Палыч Берия
Выпал из доверия
Осталися от Берии
Одни лишь пух да перия
 


Ссылка на сообщение7 марта 2013 г. 00:16
ггг
 


Ссылка на сообщение7 марта 2013 г. 00:40
Да, тяжело было на Фантлабе без цветовой дифференциации штанов
 


Ссылка на сообщение7 марта 2013 г. 00:50
Да ладно тебе: хозяин барин, а эксперимент всякий хорош.


Ссылка на сообщение7 марта 2013 г. 00:01
самые активные теперь все порешают.


Ссылка на сообщение7 марта 2013 г. 00:01
:-))) Уже на третьей странице писала. Мне теперь можно даже не ставить оценки, на них системе все равно начхать. Если Сильмариллион Толкина получил 2, Громыко 6 с небольшим, а классика от 9 до 3 и это не совпадает с мнением большинства... Как же, Белянину и Буревому больше, чем Громыко и Толкину... :-))) Полазила по пофилям и выяснила, что личности сильно усреднили и подогнали к общему стандарту. Кто имеет собственное мнение, тот не в стаде, с тем не считаются...
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 00:24
Ещё раз, как и на предыдущей странице повторяю.

ОЦЕНКИ КОНКРЕТНЫМ АВТОРАМ НЕ СРАВНИВАЮТСЯ, СРАВНЕНИЕ ИДЁТ РАСПРЕДЕЛЕНИЙ ОЦЕНОК

И соответственно, собственное у вас мнение или нет значения не имеет.
 


Ссылка на сообщение7 марта 2013 г. 00:46
то-то и обидно, что у меня на одного автора могут стоять и 10-ки, и 6-ки и даже двояки. Десятками и единицами сильно не увлекаюсь...
В общем, смотрите пост ниже...


Ссылка на сообщение7 марта 2013 г. 00:08
У меня в итоге мониторинга ситуации получился вывод: хочешь, чтобы твои оценки учитывались, понаставь известным и топовым авторам (классикам) хороших баллов + несколько низких баллов юмористическим книгам и малоизвестным книгам фэнтези. Если большинство из топового списка тебе не нравится и ты предпочитаешь что-то другое, молчи в тряпочку. 8:-0
Все мои единомышленники, предпочитающие малоизвестное фэнтези, а не фантастику, в итоге щеголяют низкими степенями. Здорово. Мы не существуем как класс.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 01:06
Не совсем честно говоря понял ваши выводы. Но лучше creator завтра посмотрит на вашем примере, что там не так с алгоритмом расчёта.
 


Ссылка на сообщение7 марта 2013 г. 01:09
Хотелось бы. Потому что пока логику распределения степеней на сайте я совсем не понимаю.


Ссылка на сообщение7 марта 2013 г. 00:11
о лайки.. надо еще надпись сверху добавить фл-вконтактик.
и фото авторов с дурацкими фильрами от инстаграмма.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 00:15
+146%


Ссылка на сообщение7 марта 2013 г. 00:43

цитата ЭльНора

Мне теперь можно даже не ставить оценки, на них  системе все равно начхать. Если Сильмариллион Толкина получил 2, Громыко 6 с небольшим, а классика от 9 до 3 и это не совпадает с мнением большинства...


Учитывается не ваше личное мнение о конкретных произведениях, а принцип распределения вами оценок. То есть, если человек ставит (как некоторые) только «10» и «1» — то вряд ли его мнение будет полезным для большинства
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 00:48
у меня задействована ВСЯ шкала. И одному автору я легко ставлю и 2, и 6, и 10, как, например, Громыко, Бабкину, Астаховой, Бадею, Баштовой, Белянину и многим другим. Поэтому для меня загадка, почему меня отнесли к категории накрутчиков. Хотелось бы услышать более четкие объяснения.
 


Ссылка на сообщение7 марта 2013 г. 00:54
Так ваша гистограмма близка к идеалу. Говоря «некоторые» я никого не имела в виду, лишь верхний пост этой страницы))
 


Ссылка на сообщение7 марта 2013 г. 00:56
гистограмма близка к идеалу, а степень доверия низкая!
Вот и объясните мне такой фокус.
 


Ссылка на сообщение7 марта 2013 г. 00:58
Вы меня опередили. Хотела задать тот же вопрос о вашей степени

Мой меня не удивляет. Но надо же понимать, к чему стремиться и есть ли к чему стремиться:-)))
 


Ссылка на сообщение7 марта 2013 г. 02:24

цитата Бурундук

Так ваша гистограмма близка к идеалу.

К какому идеалу? К сферической гистограмме в вакууме?
Насколько я понял, что чем ближе распределение оценок к нормальному распределению, тем выше вес у посетителя. В случае лог-нормального распределения оценок (скорее всего именно на него будут похожи накрутки) — они не учитываются.
 


Ссылка на сообщение7 марта 2013 г. 08:40
Не совсем. «Нормальное» в нашем случае — среднее по сайту. Где максимум приходится на оценку 8.
 


Ссылка на сообщение7 марта 2013 г. 13:09

цитата creator

«Нормальное» в нашем случае — среднее по сайту. Где максимум приходится на оценку 8.

Странно — шкала десятибалльная, а официальная позиция сайта получается поддерживает тех, кто только верхней ее половиной пользуется.
При этом нигде нет информации что оценка «8» — это аналог «нормально», а не «5» или «6» — что имхо напрашивается само собой. :-(
 


Ссылка на сообщение7 марта 2013 г. 14:10
Вы слово «нормальное» используете не в том значении. Нормальное — соответствует норме, которая статистически получена для данного сайта. Соответственно, мы не знаем по умолчанию, какая оценка соответствует средней, пока не посчитаем все оценки. И, само собой, об этом не пишем нигде.
 


Ссылка на сообщение7 марта 2013 г. 08:39
Кто Вас отнёс к категории накрутчиков? Разве где-то сказано это?
Гистограмма нормальная. Дело в недостатке прочих критериев.
 


Ссылка на сообщение7 марта 2013 г. 08:53
Так может для учета влияния на рейтинги и вес оценки убрать факторы лайков на форуме?
За что ставят лайки: вот зашел человек и написал «Вот новая обложка к книге такой-то» и народ моментально залайкал. Для того, чтобы его пост стал зелененьким и не пропал в общей помойке флуда, которому тоже лайки ставят. Дело не в доверии.

А можно хотя бы ради эксперимента посмотреть рейтинг, в котором идет учет веса оценок пользователей с очищенной от лайков, подписчиков АК и прочей ерундой кармой?
 


Ссылка на сообщение7 марта 2013 г. 10:22
Тогда я все равно не понимаю, почему мнение людей, которые ставят оценки, но не любят спорить на форумах, хуже более активных пользователей.
И вообще хотелось бы видеть эти «прочие критерии». Откуда пользователь Фантлаба, заглянувший в чужой профиль и узревший низкую степень, должен догадываться, что перед ним не накрутчик, а человек, которому «недостатает прочих критериев»?
 


Ссылка на сообщение7 марта 2013 г. 10:29
Прочие критерии я привёл в посте.

цитата ЭльНора

Откуда пользователь Фантлаба, заглянувший в чужой профиль и узревший низкую степень, должен догадываться

Он и не должен. Публикация этих весов вообще не предполагалась. Наверное, я их уберу.
Вам останется лишь довериться методике, не вникая в тонкости.


Ссылка на сообщение7 марта 2013 г. 00:58
А все таки, я смотрю, многих заботит: какое место занимает тот или иной автор в рейтинге (прежде всего, видать, авторы-любимчики). Вроде бы, какая разница? 5-ое или 30-ое? От этого Вы меньше не станете его любить. Лично для меня рейтинг — дополнение к уже сформировавшимя взглядам и вкусам. И мне по барабану: какое место занимает автор в рейтинге...
Что же касается новой системы подсчета оценки автора в рейтинге.......
Уважаемый heleknar! Вы для примера маразма новой системы подсчета приводите следующие факты:
ДЖ. МАРТИН, выше даже Стругацких
Сапковский стоит выше Лема.
Аберкромби выше Желязны.
Роулингша со своими семью книгами про ГП, стоит выше Хайнлайна, Шекли и Дика.
Хобб выше Ле Гуин.
М. Семенова — 53. Второстепенный британский фантаст Артур Кларк на 57-ом.
Камша выше Пелевина.
Так вот, до того как была введена новая система, авторы которых Вы указали, располагались по отношению друг к другу точно так же, а разница их оценок в рейтинге была еще больше нынешней! Так получилось, что у меня сохранились оценки зарубежных авторов (из рейтинга) где-то месячной даввности с оцененностью более 500, и оценками выше 7,60. Так вот, для примера привожу старую разницу в оценках и теперяшнюю.
Вы писали:
ДЖ. МАРТИН, выше даже Стругацких (месяц назад было 8,66 у Мартина против 8,53 у Стругацких; сейчас: 8,68 против 8,64).
Сапковский стоит выше Лема (было — 8,61 против 8,38, теперь — 8,42 против 8,41! Разница сократилась с 0,23 до 0,01!!!). Лем по отношению к Сапковскому стал цениться выше....
Аберкромби выше Желязны (было — 8,58 против 8,32; стало — 8,31 против 8,25).
Роулингша со своими семью книгами про ГП, стоит выше Хайнлайна, Шекли и Дика (она и раньше стояла выше их: было 8,40 против 8,21/8,09/8,07).
Хобб выше Ле Гуин (аналогично: 8,26 против 8,06 месяц назад, а теперь: 8,23 против 8,20). Каково! Сейчас разница 0,03 против предыдущей в 0,20! Не ценят Ле гуин, нет не ценят:-)
М. Семенова — 53. Артур Кларк на 57-ом (у Семеновой было 8,01, у Кларка — 7,92; сейчас — 7,93 против 7,91).
Камша выше Пелевина (старые оценки не сохранились, но даже я помню, что Камша всегда стояла выше Пелевина в рейтинге).
Так что получается, что новая система оценки автора в рейтинге поадекватенее старой будет...
Creator и Dark Andrew правы. Оценки авторам ставят пользователи. А современные читатели, к сожалению, или к счастью, Сапковского ценят и любят выше, чем Лема... (к слову сказать, как и Ваш покорный слуга) Я читал несколько произведений Лема. Не пошло... Это не значит, что Лем плохой автор (упаси Боже!!!!!!!!!!) — просто он не мой автор. Видать, другая эпоха..... Для меня он староват:-)
А вообще, здесь звучала отличная идея для админов: пусть будет в рейтинге триггер-переключатель: оставить и новую систему подсчета рейтинга авторов и старую. Тогда все холивары, надеюсь, уйдут. Каждый сам решит какой рейтинг ему больше нравится.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 08:43
knot33, просто бальзам на душу! :beer:
 


Ссылка на сообщение7 марта 2013 г. 10:36
Рад. что мое сообщение затронуло душу....;-)
Мое мнение: а почему бы сайту действительно не иметь оригинальную систему подсчета рейтинга авторов (которую разработал creator)? Тем более, я повторюсь, она мне кажется более адекватной, чем старая.
Многие сайты, прежде всего зарубежные, разработали свои системы оценок авторов, произведений, фильмов и т.п., которые отличаются от среднеарифметической оценки юзеров и посетителей (для этих систем оценки юзеров являются лишь базой для сложной системы подсчета рейтинга или оценки). И в этом нет ничего плохого. Из отечественных сайтов могу привести пример игрового портала www.ag.ru, где уже давно, на основе оценок пользователей той или иной игре, работает сложная система подсчета оценки играм, которая отличается от простой среднеарифметической.
Так почему Фантлаб не может иметь свою собственную систему подсчета рейтинга авторов???? Тем более, что она КАСАЕТСЯ ТОЛЬКО РЕЙТИНГА (кто еще не понял — среднеарифметические оценки произведениям на страницах авторов и самих произведений никуда не делись).
Что же касается крика многих пользователей, о том, что у них «низкий» уровень учета оценок, которые они выставили, то приглядитесь к себе. А действительно ли Вы беспристрастны???
У меня тоже «низкий» уровень. Но я понимаю, что данный факт сложился из-за того, что кол-во оценок-десяток, выставленных мной произведениям ряда авторов, заметно завышено. Яркий пример: мой любимый Сапковский: цикл о Ведьмаке Геральте (у меня и сам цикл, и подциклы, и произведения оценены на 10-ки, за исключением 2-х рассказов, которые я оценил на 9). В оправдание могу сказать, что отчасти это сложилось из-за того, что цикл я прочитал еще до того, как узнал о Фантлабе. А как только зарегестрировался — тут же налепил любимому пану Анджею десяток, хотя понимаю, что в цикле есть более удачные рассказы, а есть — менее. Да и последние романы заметно слабее начала цикла. А значит оценка 10 всем произведениям цикла — пусть небольшая, но накруточка...:-)
В ближайшее время собираюсь перечитать весь цикл, а по итогам — выставить более адекватные оценки.
Так что желаю админам не поддаться нажиму и оставить новую систему подсчета рейтинга. Она не так плоха, как может показаться изначально.
P.S. Но для примера я бы все-таки сделал переключатель, который мог бы показывать и среднеарифметическую оценку автора (в том числе с системой накруток:-)).
 


Ссылка на сообщение7 марта 2013 г. 11:25
Вспоминается, как критиковали недавнее голосование Лотуса. Кому была не так «Дюна» на 1 место, кому Роулинг.

Но если брать совокупность первых 50-100 мест, то она точно перечисляет всех достойных авторов.

Всё, что вы написали, абсолютно поддерживаю =)


Ссылка на сообщение7 марта 2013 г. 00:58
А можно узнать, кроме «низкого» (как у большинства), «высокого» и «очень высокого» (как у админов)), какие еще есть промежуточные?
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 01:00
Низкая, средняя, высокая, очень высокая


Ссылка на сообщение7 марта 2013 г. 00:59
Вставлю свои 5 коп.: лучше бы не менять ничего, а оставить, как было (при всех недостатках прежней системы). Прежнее положение вещей было естественнее, и потому адекватнее отражало суть.
Попытка улучшить очень импонирует. Однако введение регуляторов далеко не всегда приводит к действительному улучшению.
Эта среда — сродни естественной. И потому самый оптимальный регулятор — саморегулирование, которое, имхо, не просто имело место, но показывало / доказывало свою эффективность.
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 01:04
Не совсем понятно, что вы вкладываете в «естественнее»? Что естественно в том, чтобы не сводить к минимум влияние любых накрутчиков?
 


Ссылка на сообщение7 марта 2013 г. 01:10
Естественное — складывающееся стихийно, спонтанно. Это не означает отсутствия контроля. Но контроль должен быть за обеспечением естественности. Разумеется, накрутка рейтинга автору пользователями — это уже искусственность, которую надо пресекать.
Но «допрегулирование» кажется неправильным.


Ссылка на сообщение7 марта 2013 г. 01:03
Задумка интересная!
А на рекомендации влиять новая система будет?
свернуть ветку
 


Ссылка на сообщение7 марта 2013 г. 01:05
Нет, не будет. Она касается только рейтингов.
 


Ссылка на сообщение7 марта 2013 г. 01:11
Насчет веса оценки, если брать оценку кого-нибудь из первой сотни зубров фантлаба и среднего пользователя типа меня, насколько сильно будет отличаться вес наших оценок?
 


Ссылка на сообщение7 марта 2013 г. 01:18
Понятия не имею, если честно.
У меня есть очень большое подозрение, что если сравнивать двоих, то разница может быть большой, но как только речь пойдёт о статистических величинах — там сразу ситуация будет иной.
Страницы: 123456789101112

⇑ Наверх