Тема «Правдивость статистики (или новый взгляд на оценки)»

Вы здесь: Форумы fantlab.ru > Форум «Техподдержка и развитие сайта» > Тема «Правдивость статистики (или новый взгляд на оценки)»

Правдивость статистики (или новый взгляд на оценки)

Страницы: 1 2 3 4 5 6 7 8 9 🔍 поиск написать сообщение

автор

сообщение

гранд-мастер

9 января 2010 г. 01:05

цитировать

А, въехал! Теперь вообще все понятно. На новичках тоже будет действовать но не так достоверно, но с большим количеством их оценок эта достоверность будет расти. Правильно?

–––
Не читаю, но слушаю

философ

9 января 2010 г. 01:07

цитировать

цитата Ригель_14
Правильно?

Абсолютно! ;-)

гранд-мастер

9 января 2010 г. 01:10

цитировать

А тогда я спокоен.

–––
Не читаю, но слушаю

миротворец

9 января 2010 г. 20:34

цитировать

цитата Veronika
Писания Майер — феномен социологический, психологический, но не литературный.

А что тогда литература, извините? Ф.М. Достоевский, выходит, тоже не литературное произведение создал, раз уж его в Западной Европе считают философом? И Карамзин не литератор, если писал произведения с уклоном в историзм?
В школьную программу входит "Реквием" Ахматовой и "Евгений Онегин" Пушкина, а еще "Гуси в полынье" Астафьева. Так неужели это равные по значимости произведения, раз уж мерять школьной меркой?

–––
14 февраля я родила свое счастье.

миродержец

9 января 2010 г. 21:21

цитировать

Господа, а может не надо изобретать велосипед, и просто вспомнить с какой целью мы ставим оценки. Совсем не с целью показать кому-либо качество произведения, а для того, чтобы работали индивидуальные рекоендации. И тогда вся эта болтовня лишняя, потому как рекомендации работают.

–––
Жили книжные дети, не знавшие битв,
Изнывая от мелких своих катастроф...

философ

9 января 2010 г. 22:01

цитировать

цитата Gelena
Совсем не с целью показать кому-либо качество произведения, а для того, чтобы работали индивидуальные рекоендации

для меня это новость.
т.е. люди, выставляющие тысячи оценок рекомендаций жаждут?
да и я рекомендациями не пользуюсь, выбираю книги по аннотациям + рейтинг фантлаба предподчтительно более 7

миротворец

9 января 2010 г. 22:07

цитировать

цитата tavla
я рекомендациями не пользуюсь, выбираю книги по аннотациям + рейтинг фантлаба предподчтительно более 7

А я никогда не смотрю рейтинги, не доверяю я им. А вот рекомендации мне интересны. Так что, каждому свое, на вкус и цвет фломастеры разные.

–––
Главная проблема этого мира в том, что умные люди полны сомнений, а идиоты полны уверенности!

философ

9 января 2010 г. 22:10

цитировать

цитата antel
Так что, каждому свое, на вкус и цвет фломастеры разные

ну так и я о том же, против уравниловки:

цитата Gelena
может не надо изобретать велосипед, и просто вспомнить с какой целью мы ставим оценки ... чтобы работали индивидуальные рекоендации

миротворец

9 января 2010 г. 22:16

цитировать

tavla попытаюсь объяснить. Вы ставите оценку исходя из своего отношения к книге. Чувствуете что эта книга заслужила 10, ставите 10 и на смотрите на средний балл равный допустим 7.23. Чувствуете что для вас эта книга равна 4 баллам и вам должно быть всё равно что рейтинг книги 9.88.
А потом можно зайти в раздел рекомендаций и увидеть, что там рекомендуют книги которые вам возможно понравятся на предполагаемую оценку. А возможно и не понравятся. Но если подряд не нравится 10 рекомендованных книг, значит стоит задуматься о том, что возможно где-то вы хитрите и ставите завышенные оценки или занижаете их.

–––
https://mysliclub.com/?ref=fzsd3qn6mp

философ

9 января 2010 г. 22:26

цитировать

цитата
ну так и я о том же, против уравниловки

Вот о чём и речь!Мне одинаково важны ВСе ваши мнения,а не безликие статистические данные.Эти мнения живые, настоящие, понимаете?А не заведомая ли уравниловка то, что уважаемый Фёдор Михайлович непререкаемый сверхавториет — и баста?!( Это я к примеру).Каюсь,казните, ругайте- ну не люблю я произведения Достоевского!Помню, ещё во времена учёбы в университете(кстати, на филфаке. ;-)

) у нас вышел спор с преподавателем .Она была шокирована моим высказыванием,что описать на 33 страницах спускающееся стадо овец-это вовсе не признак гениальности.(Ну, понятное дело,предметом спора был наш другой не менее горячо любимый классик :-)

)Ещё раз каюсь, была глупой первокурсницей..Но суть в том,что эта позиция :"Вот шедевр , хоть тресни и ты не имеешь права даже думать по-другому!!!",мне кажется,немного ...деспотична, что ли.Не должно так быть.

–––
Всякий ум человеческий имеет границы. И только глупость беспредельна!

философ

9 января 2010 г. 22:47

цитировать

ZiZu, я понимаю всю прелесть этой затеи, из-за нее я когда-то здесь и зарегистрировался, правда тогда система рекомендаций была попроще, без жанровой классификации и вечно советовала мне ненавистную фэнтези. так что привык выбирать вручную, сайт очень помогает.

цитата Лауэр
А не заведомая ли уравниловка то, что уважаемый Фёдор Михайлович непререкаемый сверхавториет — и баста?!

небыло заведомой басты, так решили пользователи сайта за 5 лет его жизни.

цитата Лауэр
Мне одинаково важны ВСе ваши мнения,а не безликие статистические данные

мнения никто отменять не собирается, но есть возможность и безликие статистические данные посмотреть, что бы вы без них делали. кстати, в контексте устройства сайта, данные не такие уж и безликие — всегда можно найти голоса, отзывы пользователей, формирующих статистигу, и даже заглянуть в их профиль.

миротворец

11 января 2010 г. 01:17

цитировать

цитата Gelena
Господа, а может не надо изобретать велосипед, и просто вспомнить с какой целью мы ставим оценки. Совсем не с целью показать кому-либо качество произведения, а для того, чтобы работали индивидуальные рекомендации. И тогда вся эта болтовня лишняя, потому как рекомендации работают.

Леночка, я это на первой, кажется, странице темы написал, но народ не слышит или не читает всё, а только последнюю страницу. То есть просто достаточно честно оценивать книги в соответствии со своими вкусами (и глубоко пофиг шедевр-нешедевр, классика-неклассика, общественная ценность — отсутствие оной) и ты получишь рекомендацию книги, которая будет ТЕБЕ (а не школьной программе) интересна с вероятностью, указанной в рекомендации и даже прогнозом ожидаемой твоей оценки. По себе скажу — точность весьма высока, несовпадение по вкусам — единичные случаи, только прогноз оценки как правило завышен на 0,5 -1 балл, но это, возможно, моя личная вредность, не зря на работе молоко за неё дают, в целом очень точные рекомендации.

–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!

гранд-мастер

11 января 2010 г. 01:29

цитировать

Насчёт "колокольчика" — т.е. корректировки оценок пользователя в зависимости от того, как они распределяются относительно "средней по сайту кривой" — поддерживаю. А то вечно как не открою профиль пользователя, сильно непохожего на меня по мере подобия, так вижу что-нибудь вроде:

10 [__________________________________]
9 [_]
8[____]
7
6
5
4
3
2[_]
1[____]

гранд-мастер

11 января 2010 г. 10:54

цитировать

demihero Ну и как вы будете проводить корректировку оценок других пользователей? Как вы это себе представляете чисто технически? Объясните на вашем примере, мне это интересно с профессиональной точки зрения.

–––
Посеешь ветер – пожнёшь бурю!
Буде тобі враже так як відьма скаже.

гранд-мастер

11 января 2010 г. 12:25

цитировать

K_Serg, вывести среднюю по сайту кривую распределения баллов у одного пользователя, а затем вносить коррективы в каждую выставляемую оценку. Вы хотели на моём примере — извольте ;-)

Допустим, что среднее по сайту распределение оценок совпало с моим, то есть (посчитал приблизительно):

10 баллов — 2%
9 баллов — 5%
8 баллов — 21%
7 баллов — 27%
6 баллов — 23%
5 баллов — 13,5 %
4 балла — 4%
3 балла — 3%
2 балла — 1%
1 балл — 0,5%

Теперь возьмём какого-нибудь абстрактного пользователя, чьи оценки сильно отличаются от среднестатистических (я имею в виду только распределение оценок). Например, у него что-то вроде:

10 баллов — 428 книг
9 баллов — 27 книг
8 баллов — 96 книг
7 баллов — 43 книги
6 баллов — 15 книг
5 баллов — 0 книг
4 балла — 2 книги
3 балла — 0 книг
2 балла — 20 книг
1 балл — 138 книг

...или в процентном соотношении:

10 баллов — 56%
9 баллов — 4%
8 баллов — 12%
7 баллов — 5%
6 баллов — 2%
5 баллов — 0%
4 балла — 0%
3 балла — 0%
2 балла — 3%
1 балл — 18%

Очевидно, этот пользователь имеет склонность оценивать книги по принципу "либо понравилось — либо полная фигня". Это его право, только такая манера расстановки оценок несколько искажает общий балл за отдельные произведения. Поэтому когда такой пользователь ставит какой-нибудь книге очередную "десятку" — она идёт в общий зачёт балла с поправочным коэффициентом ~0,03.

В индивидуальных рекомендациях разницу в распределении оценок тоже имеет смысл использовать. А то мне, допустим, рекомендуют некую книжку на том основании, что мои оценки где-то совпали с оценками пользователей А, Б и В — а то, что, допустим, у меня пик оценок приходится на "восьмёрку", а у вышеозначенных пользователей "восьмёрка" редкий гость — это системе невдомёк.

П.С. С коэффициентами, признаю, мог напортачить — в цифрах, разумеется, а не в самой идее — ибо не математик и со времён школьной скамьи ничего сложнее простых арифметических действий не считал 8-]

гранд-мастер

11 января 2010 г. 14:05

цитировать

demihero Ага понятно, что вы имели в виду. Фактически это означает, что наибольшее влияние на рейтинг будет у тех пользователей, которые имеют закон распределения оценок совпадающий или близким к среднему по сайту. Мнение других пользователей фактически будет игнорироваться, что наверное не есть хорошо.
Здесь на сайте преобладает мнение, что распределение оценок пользователя должно иметь нормальный закон распределения, но это только гипотеза, которую вобще-то перед тем как внедрять какие-то изменения надо еще доказать. Выше я наводил причины по которым я считаю что она не может быть состоятельной. Напишу более просто. На сайте многие пользуются так называемой пятибальной шкалой умножить на 2. То есть 10 это пять 6 это три и т.д. В этом случае получается, что хорошие оценки занимают в шкале 3, ну максимум 4 позиции, остальные отводятся для удовлетворительных и плохих. То есть разницы в восприятии между соседними позициями шкалы разные, вверху шкалы они больше, внизу меньше. Что это означает, это означает что шкала неравновесная и для того чтобы проверять гипотезы о нормальности нужно исследовать эту шкалу. Причем это нужно делать для каждого пользователя, что практически невозможно. Вряд ли можно заставить неподготовленного пользователя ответить на несколько сотен малопонятных и плохоформализуемых вопросов.
Можно еще много продолжать, но если в кратце то всегда будут пользователи недовольные рейтингом, какие бы модели и нововведения не использовались. Единственный выход это КАЖДОМУ ПОЛЬЗОВАТЕЛЮ ПО РЕЙТИНГУ, что согласитесь абсурд.
Ну а индивидуальные рекомендации даются на основе оценок единомышленников, и использовать здесь предложенный подход вряд ли рационально. Для повышения достоверности должны быть попарно согласованны шкалы всех пользователей, а не делаться ставка на что-то среднее. Ведь вы хотите получить, то что устраивает именно вас, а абстрактного среднестатистического пользователя? :-)

–––
Посеешь ветер – пожнёшь бурю!
Буде тобі враже так як відьма скаже.

миротворец

13 января 2010 г. 16:35

цитировать

Добавьте еще один управляющий элемент — читать/не читать
если некто поставил оценку 10 — и "не читать" — следовательно, понимает субъективность своей оценки
А можно поставить 2 — и "читать" — значит , хотя бы ознакомиться, как писать не надо (и что читать не надо )- для расширения кругозора

–––
Стой, кто живёт! Здесь жить запрещено. Это вас касается, и это не смешно.
Тема не в тексте, но в голове у читателя.

миродержец

13 января 2010 г. 21:58

цитировать

цитата K_Serg
Выше я наводил причины по которым я считаю что она не может быть состоятельной. Напишу более просто. На сайте многие пользуются так называемой пятибальной шкалой умножить на 2. То есть 10 это пять 6 это три и т.д.

Всё гораздо проще... изначально не было искусственной пятибальной системы, а была естественная трёхступенчатая: удовлетворительно (не от слова "посредственно" как при пятибальной, а от слова "удовлетворяет требованиям". Как вам врач с отметками 3 бала в аттестате?), неудовлетворительно (не удовлетворяет требованиям, а значит ни на что не годится), и превосходно, как знак высшего отличия. Такая система оценок до сих пор существует при различных аттестациях на профпригодность... И нет никакой необходимости задавать сотни вопросов, а надо всего лишь понять, что книга (её содержание) такой же товар, а значит может либо удовлетворять ваши потребности, либо не удовлетворять, либо быть превосходной (да-да, тот самый высший пик наслаждения ;-)

). Что проще — привести 10-тибальную шкалу к триадной системе (недаром "раз-два-три" — самый-самый танец!) — просто выкинуть единицу, как оценку не имеющую смысла... И получим:
1. Брррр... лучше бы это мне не попадалось (2,3,4) т.е. не удовлетворяет моим требованиям к печатной продукции
2. Нормальная книга, но ничего страшного, если бы я её не прочитал (5,6,7) — можно читать
3. как я рад, что эта книга мне попалась (8,9,10) — сильные эмоции, интеллектуальное наслаждение, переосмысление себя, взгляд с другой стороны на мир и т.п.
в каждой группе внутреннюю триаду, в которой также просто расставить всё по полочкам...

–––
Отмеряю микрометром, отмечаю мелом, отрубаю топором.

гранд-мастер

14 января 2010 г. 10:32

цитировать

SergUMlfRZN Мне ваша позиция импонирует :-)

И я фактически говорю то же самое. И шкалой пользуюсь приблизительно такой какую вы привели. А вот такой шкалой пользуется Claviceps P. и многие другие пользователи.

цитата
Моя трактовка оценок на сайте FantLab:
10 — гениально, шедевр. одно из самых любимых
9 — отлично, очень здорово. иногда немножко не дотягивает до 10ки из-за каких-то нюансов/моментов
8 — хорошо, очень неплохо, интересно
7 — относительно неплохо, вполне можно прочитать. но без особых достоинств
6 — так себе, средне. можно читать, но не обязательно.
5 — слабо, скучно
4 — очень слабо, не цепляет ничем
3 — откровенная ерунда, графоманство
2 — убогая коммерческая халтура, дрянь
1 — нет слов кроме "руками не трогать"
Я все же отталкиваюсь от того, что десятибальная шкала — это просто расширенная и подробная версия пятибальной.
Таким образом — 10 это 5, 8 это 4, а 6 это 3. То, что ниже шестерки — соотвественно все довольно никакое...
Меня сильно удивляет, когда балл стоит 6 или 7, а написано — "отлично, очень понравилось!"

–––
Посеешь ветер – пожнёшь бурю!
Буде тобі враже так як відьма скаже.

миродержец

18 января 2010 г. 21:18

цитировать

K_Serg , на мой взгляд, приведённая шкала страдает одним недостатком — смешиванием в одной линейке объективных и субъективных оценок — например 2,3,9 и 10-ка без указания/пояснения "на мой взгляд" ...

–––
Отмеряю микрометром, отмечаю мелом, отрубаю топором.

Страницы: 1 2 3 4 5 6 7 8 9 🔍 поиск