Эффект, переменный во времени, и красивые симуляции
У Эндрю Гельмана вышел постик с названием A big problem with conventional experimentation or A/B testing is that the treatment effect can vary over time and it can depend on the entire history of the treatment. Usual comparisons miss this point.
В принципе, вся суть передана в названии, мысль разумная, ребята из бузинеса, обратите внимание. Но пишу я не поэтому: в посте Эндрю ссылается на сайтик ConfidentStory. Один из инструментов, предлагаемый конторой, — это Noise Explorer: по сути шайни аппка с Монте-Карло симуляцией для визуализации хода эксперимента. Мне понравилось, как маркетингово и бизнесово в тексте описаны ошибки II рода. Правду бают: будь проще и люди к тебе потянутся.
Рубрика #ярмарка_тщеславия — надысь у меня с коллегами из ИБ (подписывайтесь на каналы Оли и Макса, Евгению просто передадим привет) вышла методологическая статья, в которой я внезапно первый автор. На удивление, текст получился плотный и компактный: поговорили и про то, какое место занимает статистика в исследованиях и на этапы этих исследований; рассмотрели эту схему на трех реальных примерах; посмотрели на статмифы не как на досадные оплошности, а систематическую историю и указание на то, что к станку человек подходит не с той стороны; предложили даже некоторую классификацию и рассмотрели примеры этих мифов.
Статья, на самом деле, применима плюс-минус везде, где вы трогаете статистику, поэтому людям из бузинеса, мне кажется, тоже будет полезно.
В общем, буду рад, если почитаете и расскажете, что думаете. Пдфочку положу в первом комментарии.
Славенко МГ, Мироненко ОН, Кузнецов МС, Бакин ЕА. Мифологизация статистики в биомедицинских исследованиях. Альманах клинической медицины. 2026;54(2):104–112. doi: 10.18786/2072-0505-2026-54-010.
Несу вам классный пост о том, как можно отхватить проблем на ровном месте и что даже в, казалось бы, простой задаче, можно провалиться в кроличью нору, все это на примере quantile-based vs. equal-size splits.
Тизер, чтобы привлечь ваше внимание:
With some amusement, I note that programmers complain endlessly about R being a programming language designed by statisticians who aren’t very good at programming. Well, it turns out that the reverse is also true… SQL supplies a data analytics framework designed by programmers who aren’t very good at data analysis.
Восхищаюсь Даниэль Наварро и блогом; когда вырасту, как блогер, хочу быть как Даниэль.
Какой вывод из всего этого сделать? Знай свои инструменты? Не доверяй никому и ничему?