Правдивость статистики или ...


Вы здесь: Форумы fantlab.ru > Форум «Техподдержка и развитие сайта» > Тема «Правдивость статистики (или новый взгляд на оценки)»

Правдивость статистики (или новый взгляд на оценки)

 автор  сообщение


философ

Ссылка на сообщение 6 января 2010 г. 01:04  
В результате прочтения множества постов в этой же ветке форума, можно сделать однозначный вывод: у каждого пользователя своя шкала оценивания, в результате чего одни считают оценку 8 — очень достойной, предназначенной для высококлассных книг (как я); а для других условно говоря 10 — книга понравилась, 1 — книга не понравилась.

Ранее было предложено ввести расширенную систему оценивания (вместо одной оценки несколько), но идея была отвергнута, так как большинство оказалось против выставлять оценку по нескольким показателям, вместо одной единственной. Хотя лично мне эта система импонировала, главным ее недостатком считаю — невозможность охватить весь спектр аудитории или по крайней мере большинство. Следовательно, предлагаю другой вариант.

Исходя из того, что оценка человека, который до конца прочитал книгу, который оценил ее более детально, глубоко и подошел к этому более ответственно — важнее, чем оценка человека, который руководствуется шкалой из двух крайних пунктов "понравилось", "не понравилось" я предлагаю следующее:
- Увеличить вес тех оценок, которые подкреплены качественным отзывом, что характеризуется суммой баллов за отзыв.
- Уменьшить вес тех оценок, которые не подкреплены никаким отзывом, а значит точка зрения оценившего не является расширенной по тем или иным причинам и он оценил книгу недостаточно глубоко или просто не обосновал свою точку зрения в отзыве.

Чтобы это сделать, предлагаю ввести зависимость веса выставленной оценки от баллов за отзывы. Книги, у которых нет ни одного отзыва не пострадают. Зато читатель, оценка которого обоснована качественным отзывом, что подтверждают выставленные ему баллы за отзыв, будет иметь большее значение.

Пример:
Книгу оценили 10 пользователей. Девять человек поставили оценку "10", но не оставили отзыва. Один человек поставил оценку "8" и оставил отзыв, где детально обосновал свою оценку, получив за него 10 баллов (то есть 10 человек согласны с отзывом, а значит мнение этого пользователя подкреплено мнением еще 10 человек).

[Текущий алгоритм] Средняя оценка=(10*9+8)/10=98/10=9.8 (Выходит это шедевр!)
[Новый алгоритм] Средняя оценка=(10*9*(ВЕС=0.1)+8*(ВЕС=1 так как 10 баллов за отзыв))/(ВЕСЫ)=(9+8)/2=8.5 (Не такой это уж и шедевр это оказывается!)

Ваши соображения по поводу предложения.


магистр

Ссылка на сообщение 6 января 2010 г. 02:09  
Здравое и вполне интересное предложение. Может быть так было бы и более верно, но есть некоторые нюансы:

цитата creator

Все прекрасно понимают, что рейтинг — это усреднённый показатель всех оценок, но всё равно начинают спорить кто круче — Брюс Ли или Шварценеггер.
Кончайте пустой трёп разводить! Никто и никогда не будет согласен с рейтингом — это аксиома!

цитата duke

Главная задача оценок — подобрать будущие книги, которые тебе будет интересно прочитать.

цитата duke

ну не могут иметь оценки на ФЛ никакого иного смысла, кроме как создать себе нормальную рекомендацию. И рейтинг, как уже заметили, говорит только о по-пу-ляр-нос-ти.


В общем, рейтинг — не более чем условность. Проще ориентироваться на предполагаемую оценку на основе мнений единомышленников да и много других способов есть. Как бы мы ни хотели этого, всё равно идеальную систему не построить. В ближайшее время это точно не будет приоритетной задачей.

Но если программистов это не затруднит (а них работы архи-много), то рассмотреть этот вариант можно.
–––
Чем выше тон разговора, тем тоньше нить взаимопонимания. (с)


магистр

Ссылка на сообщение 6 января 2010 г. 02:59  
Что-то есть в идее. Да. Оценки действительно хотелось бы как-то модернизировать, но я совершенно не согласен с точкой зрения, что оценка с отзывом априори лучше чем просто оценка. Ведь некоторые лаборанты практически каждую оценку сопровождают отзывом (и далеко не всегда настолько качественным, как хотелось бы — о чем красноречиво свидетельствуют баллы), некоторые лаборанты подходят к написанию отзывов как к ответственной работе, а некоторые, как к искусству — пришло вдохновение и человек пишет такой отзыв, что любой прочитавший, повизгивая от нетерпения несется читать и еще раз читать.
–––
Пока мы существуем, будет злой гололёд,
Копирайт поскользнётся, копирайт упадёт!


философ

Ссылка на сообщение 6 января 2010 г. 03:36  
Ничто не идеально, но попробовать улучшить, думаю, можно ;)

цитата _Sly_

но я совершенно не согласен с точкой зрения, что оценка с отзывом априори лучше чем просто оценка

Так ведь отзыв с нулевой (тем более минусовой) оценкой не даст прибавления в весе.

цитата _Sly_

Ведь некоторые лаборанты практически каждую оценку сопровождают отзывом (и далеко не всегда настолько качественным, как хотелось бы — о чем красноречиво свидетельствуют баллы

"красноречиво свидетельствуют баллы" -- ведь именно о баллах и идет речь.


гранд-мастер

Ссылка на сообщение 6 января 2010 г. 03:58  
А на мой взгляд, отсутствие у оценки отзыва вовсе не означает, что этот пользователь "не оценил книгу достаточно глубоко". Есть множество причин, по которым не пишется отзыв. То может быть занятость или лень. :-) И не понимаю, чем моя десятка будет хуже, чем десятка, настрочившего пару десятков строчек. %-\
–––
And from his nose unto his chin, The worms crawled out, the worms crawled in...


магистр

Ссылка на сообщение 6 января 2010 г. 04:09  
Вот что мне действительно хотелось бы я уже как-то писал: иметь возможность сделать "отсечку" по такому признаку как кол-во оценок у голосовавших (и/или классу развития), и посмотреть что получится. Чтоб можно было выбрать — популярные или для "гурманов".
А с использованием отзывов в рейтинге — с одной стороны и понятно, что если человек написал "годный" отзыв, собравший, много баллов, то "вес" его оценки можно бы и увеличить. С другой стороны часть лаборантов, на которых можно ориентироваться при решении читать/не читать пишут отзывов гораздо меньше чем оценивают.
–––
Пока мы существуем, будет злой гололёд,
Копирайт поскользнётся, копирайт упадёт!


магистр

Ссылка на сообщение 6 января 2010 г. 04:32  

Согласен с Kuntc.

От себя добавлю, что количество плюсов у отзыва зависит не только от качества этого отзыва, но и от популярности автора отзыва. Замечаю по себе, что когда проглядываю раздел новых отзывов, то гораздо чаще обращаю внимание на отзывы определённых лаборантов. К тому же плюсы / минусы выставляют не только за качество отзывов, но и по многим другим причинам (соответствие мнения о книге и т. п.). Конечно, администрация борется с этим, но окончательная победа в принципе невозможна. Таким образом, зависимость веса оценки от баллов за отзывы будет "притянута за уши".

цитата _Sly_

Вот что мне действительно хотелось бы я уже как-то писал: иметь возможность сделать "отсечку" по такому признаку как кол-во оценок у голосовавших (и/или классу развития)

ИМХО, дельное предложение. Или как вариант добавить вес оценки в соответствии с классом.

–––
Nitinur in vetitum semper, cupimusque negata.


магистр

Ссылка на сообщение 6 января 2010 г. 11:45  

цитата Krono

Чтобы это сделать, предлагаю ввести зависимость веса выставленной оценки от баллов за отзывы.

Не вижу связи между оценкой книги и оценкой отзыва.
Сейчас на вес оценки влияет количество произведений, прочитанных пользователем у автора данной книги (см., например, тут), что, на мой взгляд, более точно.
–––
Водку наливают возле стен Кремля -
Ты моя Россия, ты моя земля!


философ

Ссылка на сообщение 6 января 2010 г. 17:33  
Да, о том что это влияет я знаю и я не предлагаю этого менять (в своем примере я для простоты взял, что все 10 человек прочитали одинаковое количество книг автора).

Связь есть между личной оценкой пользователя и его личной шкалой или, скажем, глубиной его оценивания. Главная цель, которой я руководствовался выдвигая эту идею, была минимизировать влияние пользователей, которые некоторым произведениям ставят оценки 10, даже если они им просто "понравились", а некоторым оценки 1 потому что им было "скучно". Но я не настаиваю, что в данном случае моя идея наилучшая. Но все же считаю что заслуживает на внимание, хотя бы как альтернатива, которой бы при желании можно было бы воспользоваться. Главным ее преимуществом является то, что она не требует никаких дополнительных усилий от пользователя (например как расширенная оценка по нескольким показателям).

Еще как вариант, — это статистическая обработка на основании выявления этой самой шкалы у пользователя. То есть у тех, у кого эта шкала неполноценна и постоянно колебаеться в районе показателей, скажем 1,2, 5 и 10, то у таких пользователей уменьшить вес их оценок.


миротворец

Ссылка на сообщение 6 января 2010 г. 23:56  

цитата Krono

- Уменьшить вес тех оценок, которые не подкреплены никаким отзывом, а значит точка зрения оценившего не является расширенной по тем или иным причинам и он оценил книгу недостаточно глубоко или просто не обосновал свою точку зрения в отзыве.
Категорически не согласен. Я не пишу отзывов не потому, что книгу просматриваю по диагонали (хотя такое тоже бывает для книг, которые потом получают оценку от 2 до 6, ибо не заслуживают внимательного прочтения) или не дочитываю, а потому что не чувствую в себе таланта критика и не чувствую желания писать отзывы. С какой это стати моя оценка должна быть хуже того, кто написал пусть самый гениальный отзыв? Я прочёл и оценил! Я ничего никому не должен обосновывать
–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!


миротворец

Ссылка на сообщение 7 января 2010 г. 00:00  
Кстати. Моя оценка вполне глубока, мне 48 лет и я прочёл за это время дохренища книг, поэтому само предположение, что я оценил ту или иную книгу недостаточно глубоко — оскорбительно. Извинений не требую, но как админ буду очень активно бороться против этого предложения, буде его примут к исполнению. DIXI
–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!


миротворец

Ссылка на сообщение 7 января 2010 г. 00:02  

цитата _Sly_

некоторые лаборанты подходят к написанию отзывов как к ответственной работе, а некоторые, как к искусству — пришло вдохновение и человек пишет такой отзыв, что любой прочитавший, повизгивая от нетерпения несется читать и еще раз читать.
+11
–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!


магистр

Ссылка на сообщение 7 января 2010 г. 00:06  
Тогда уж нужно проверять соответствие оценок по каждому пользователю гауссовской кривой — процентов пять от выставленных оценок должны составлять 1-2, процентов десять 9-10, а остальное плавно распределяться между с упором, скажем на 7, которая должна считаться среднестатистическим качественным произведением. ???


философ

Ссылка на сообщение 7 января 2010 г. 00:14  
old_fan, ни в коем случае не имелось в виду, что в таком случае человек недостаточно глубокомысленный, что у него нет мнения и т.д. в таком духе. И тем не менее я не согласен, что оценка, которая подкреплена хорошим отзывом заслуживает такого же внимания как просто оценка без какого-либо отзыва.

Так или иначе, вес оценок в зависимости от оценок за отзывы — не единственное предложение в этой теме.


философ

Ссылка на сообщение 7 января 2010 г. 00:49  
Я считаю, оценки надо отменить, потому что сама идея ставить книгам оценки представляется мне бессмысленной.
–––
— Мой уважаемый оппонент профессор Минотавр расскажет вам о биосфере этой удивительной планеты


философ

Ссылка на сообщение 7 января 2010 г. 00:52  
А что же ввести взамен? Без оценок немыслимо и существование этого сайта. Оценки, как и мнение выраженное в любой форме — субъективны, но это не значит, что они не заслуживают внимания и не играют своей позитивной роли.


магистр

Ссылка на сообщение 7 января 2010 г. 01:02  
Надо посетителям ставить оценки!:-))) И получать рекомендации!:-)))
–––
Истина острому их взору не издали болванела так, как подлым умам, но ясно, как в зерцале, представлялась.


гранд-мастер

Ссылка на сообщение 7 января 2010 г. 01:21  
А у меня самозародилась следующая идея: пусть будет шкала характеристик (отличное произведение, "хороший середнячок" и т.п.), и лаборант в пустые графы у каждого пункта вносит свою соответствующую данной характеристике оценку (пусть даже с точностью до десятых ;-)). Его оценки потом перенормируются на общефантлабавскую шкалу и таким образом учитываются в средней оценке.

Пример: в нормировочной шкале напротив пункта "хороший середнячок (7)" я ставлю "7.5", а напротив пункта "средне, читать необязательно (6)" я ставлю "6.5". Фантлаб берёт мои оценки и понимает, что все мои семерки соответствуют общефантлабовскому 6.5. Соответственно, если я оценил Гарри Гаррисона, «Стальная Крыса спасает мир», на 7 баллов, Фантлаб превращает мою оценку в 6.5 баллов и уже их добавляет в общую оценку.
–––
Одни хотели бы понимать то, во что верят, а другие - поверить в то, что понимают.
С. Ежи Лец


философ

Ссылка на сообщение 7 января 2010 г. 01:30  
Идея интересная. Но как решить проблему с тем, что:
1. Прилагать дополнительные усилия, чтобы заполнить какую-то дополнительную информацию захотят не все.
2. Люди, которые наиболее необъективно (даже не читая книгу) ставят те или иные баллы это не заставит поставить в соответствие свою оценку "1" с фантлабовской "5", например.

Могу предложить решение:
Автоматическое (на основе собранной статистики по пользователю) формирование такой шкалы. В целом, это и есть мой второй вариант, о котором я здесь писал -- так что присоединяюсь!


миротворец

Ссылка на сообщение 7 января 2010 г. 03:02  

цитата saddlefast

Я считаю, оценки надо отменить, потому что сама идея ставить книгам оценки представляется мне бессмысленной.
Вы не поняли, зачем они нужны. Сайт создавался Алексеем Creatorом в первую очередь для того, чтобы пользователи могли получать рекомендации, какие книги стоит прочесть, и оценки нужны в первую очередь для этого. Вы оцениваете, сайт по оценкам ищет людей с такими же или близкими вкусами, и на основании оценок этих людей рекомендует Вам книги. Это — главное! А оценивать просто ради возможности оценить, тоже, конечно, можно, но тут Вы правы — зачем? Как сказал поэт Андрей Вознесенский: — А на фига?:-D:-D
–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!
Страницы: 123...789    🔍 поиск

Вы здесь: Форумы fantlab.ru > Форум «Техподдержка и развитие сайта» > Тема «Правдивость статистики (или новый взгляд на оценки)»

 
  Новое сообщение по теме «Правдивость статистики (или новый взгляд на оценки)»
Инструменты   
Сообщение:
 

Внимание! Чтобы общаться на форуме, Вам нужно пройти авторизацию:

   Авторизация

логин:
пароль:
регистрация | забыли пароль?



⇑ Наверх