Сделать абы как

Добавил пользователь Алексей Ф.
Обновлено: 04.10.2024

Генерирование новых идей — неотъемлемая часть развития любого продукта. Разумеется, не каждая идея повысит конверсию, увеличит аудиторию или положительно повлияет на другую метрику. Как тогда быстро проверять идеи и гипотезы? Существует множество инструментов, но один из самых популярных — A/B тесты, о которых пойдет речь в этой статье.

Рассматривать понятие АБ-теста начнем с простой схемы. Она состоит из трех элементов:

аудитория;
исходная и экспериментальная страницы;
магия.

Например, есть лендинг по производству и продаже пластиковых окон, на который идет трафик с контекстной рекламы (аудитория). Владелец посмотрел вебинар и узнал, что сейчас в тренде не прямоугольные кнопки, которые установлены на сайте, а круглые. Последние увеличивают конверсию, то есть дают больше заказов.

Оценивать можно как на всей аудитории, так и на ее части. Второй вариант более предпочтительный, ведь тогда негативный результат минимально скажется на объеме заказов. Поэтому опытные аналитики проводят тестирование на 5-10% аудитории.

Создается вторая версия лендинга с круглыми кнопками и на нее направляется 5-10% трафика с контекстной рекламы, потенциальные клиенты получают возможность посмотреть и поработать с обновленной версией.

Выбор системы аналитики зависит от ключевой метрики. В случае с лендингом по пластиковым окнам допускается применение Яндекс.Метрики (вообще, это популярный инструмент и его используют во многих тестах).

Таким образом, A/B тесты — сравнение исходной версии (сайта, приложения и т.п.) с новой на группе пользователей, оценка изменения ключевых метрик и принятие конечного решения о внесении правок.

A/B тесты нужны всем — продакт-менеджерам, маркетологам, продуктовым дизайнерам, вебмастерам и т.п. Если говорить проще, то в этом инструменте нуждаются все, кто хочет улучшать свой продукт, делать его удобнее и приятнее для целевой аудитории.

АБ-тестирование необходимо для получения объективной информации о всевозможных способах улучшения текущей версии продукта. Но это не всегда история про успешные тестирования и постоянный рост. В первую очередь надо думать, как не сделать проект хуже. И в этом A/B тесты помогают как нельзя лучше.

Объективные данные позволяют быстрее продвигаться на рынке. Ведь кто, как не пользователи, лучше знают, что им нужно здесь и сейчас. В развитии продукта опираться лишь на субъективное мнение и собственные взгляды нельзя. Это сильно затормозит развитие продукта.

Тогда придут конкуренты, которые охотно используют этот аналитический инструмент, и их темпы развития будут в разы больше, что позволит забрать значительную часть вашей аудитории или вовсе вытеснить с рынка. Поэтому использование АБ-тестирования в нынешних реалиях необходимо проектам (сайтам, приложениям и т.п.) как воздух.

A/B-тестирование проводят, когда:

необходимо получить объективное мнение о качестве изменений;
достаточно пользователей и данных;
достаточно времени и ресурсов для дизайна и проведения теста;
АБ-тест — действительно оптимальный вариант получения нужных сведений для принятия какого-либо решения.

A/B-тестирование существует уже много лет. Инструмент еще в начале 20 века применял математик Вильям Госсет на производстве пива Guinness. Он использовал в производстве продукции разные виды ячменя, чтобы определить наиболее лучшее сочетание, которое понравится потребителю больше всего.

Еще один пример — тестирование 41 оттенка синего в поисковой выдачи Google в начале 2000-х годов. Специалисты компании вывели гипотезу: существует оттенок синего, который воспринимается человеческим глазом лучше остальных и это может повысить кликабельность.

Проведение тестирования можно разделить на несколько шагов:

Постановка цели.
Выбор метрики.
Определение гипотез.
Определение дизайна.
Проведение тестирования.
Анализ результатов.

Рассмотрим каждый шаг подробнее.

Следовательно, рассматривайте тестирования, которые гипотетически повлияют на увеличение заказов с лендинга. В нашем случае — замена прямоугольных кнопок на круглые.

Не занимайтесь проверкой гипотез, которые изначально не согласуются с глобальной целью компании. АБ тест — работа команды, она занимает время и ресурсы. И если неправильно установить ориентир, потратите средства впустую.

Выбор метрики очень важен для успешного проведения A/B теста. Под ней понимают ключевые показатели бизнеса: объем продаж, выручка, чистая прибыль, количество посетителей, конверсия, число отказов и т.п. Часто метрику сравнивают с термометром — она показывает, как хорошо нашим пользователям, как много мы зарабатываем и т.п.

Для нашего тестирования ключевая метрика — количество заказов с лендинга, то есть мы будем считать оплаченные заказы клиентов, пришедших с сайта.

Желательно выбирать одну метрику, но в некоторых случаях допускается рассматривать несколько показателей в качестве дополнительных. Главное — не переборщить!

Если отслеживать в рамках одного теста десяток метрик, его эффективность существенно снизится. В рамках примера с пластиковыми окнами в качестве дополнительных показателей допустимо отслеживать средний чек и чистую прибыль.

Для правильной оценки результатов выделяют два типа гипотез:

Соответственно, если изменений нет, значит, сработала нулевая гипотеза и внесение изменений не имеет смысла. Если конверсия повысилась, значит, сработала альтернативная гипотеза и следует масштабировать правки на всю аудиторию. И конечно, при негативном эффекте мы откатываем все изменения и думаем дальше, как повысить ключевую метрику.

Четвертый шаг — один из самых важных. Когда-то он больше технический, когда-то нет, все зависит от текущей команды и возможностей для проведения тестирования.

Например, в Яндексе работает автоматическая система, которая перед проведением А/Б-тестирования разбирает пользователей на группы и определяет объем выборки. Выборка — количество людей в каждой группе, необходимое для получение данных в нужном объеме для принятия объективного решения.

Перед проектированием дизайна теста ответьте на 4 вопроса:

какие пользователи участвуют — новые, старые, все, какой-то конкретный сегмент и т.п.;
как разбиваем на группы (например, по городам или районам);
объем выборки;
продолжительность тестирования; (как правило, 90-95%).

Вернемся к примеру лендинга по продаже пластиковых окон. Так как мы льем трафик с контекстной рекламы, будем рассматривать новых пользователей (10% от общего объема) и не станем разбивать их на группы. В среднем за сутки лендинг посещает 100 человек, проводить тестирование будем 1 месяц и тогда новую версию сайта посмотрят 300 потенциальных клиентов (10%). Такого объема выборки хватит для принятия объективного решения.

Иногда на начальных этапах можно увидеть подтверждение альтернативной гипотезы. И в этом случае новички допускают ошибку: прекращают тестирование раньше намеченного срока. Да, сначала изменения могут положительно повлиять на ключевую метрику, но уже в конце эксперимента может быть выявлено реальное отсутствие эффекта (если вообще не отрицательный результат). Поэтому ждите строго до конца запланированного периода.

Тестирование окончено, данные получены. Их анализируют для понимания, есть разница и не случайна ли она. На основе анализа принимается решение: зафиксировать внесенные правки на всю аудиторию или откатить все к первоначальной версии.

В нашем примере получили 27 заказов с лендинга с круглыми кнопками. То есть показатель конверсии достиг 9%.

Решение по результатам A/B-теста принимается на основе статистики. Поэтому без опытного аналитика здесь не обойтись. Его задача — собрать полученные данные и провести анализ.

В первую очередь, всегда помните про ошибки I и II рода:

ошибка I рода — видим эффект там, где его нет. Например, проводили А/А тест (две одинаковые версии продукта показывали двум группам пользователей) и обнаружили какие-то изменения, хотя на самом деле их нет.
ошибка II рода — не видим эффект там, где он есть. Например, проводили А/Б тест и из-за недостатка чувствительности метрики не обнаружили очевидные изменения.

Также в обязанности аналитика входит расчет статистической значимости. На 4 шаге, создавая дизайн тестирования, мы определили допустимый уровень значимости — 95%. И если результат эксперимента ниже этого порога, вероятнее всего полученные изменения не связаны с изменением продукта.

Много лет назад вероятность рассчитывали вручную по формулам, но сегодня есть автоматизированные инструменты, упрощающие работу аналитика. Например, калькулятор A/B-тестирования от Яндекса.

Указав данные, получим необходимые расчеты и рекомендации по внедрению нововведений. В нашем случае, когда конверсия с 4% увеличилась до 9%, аналитический анализ дает рекомендацию по масштабированию новой версии лендинга на всю аудиторию. Такой калькулятор подходит для анализа результатов любых тестов, связанных с конверсией.

Проводя первые тестирования, специалисты допускают типичные ошибки. Предлагаем ознакомиться с наиболее распространенными:

Множественное сравнение. Если смотрим на 10 разных метрик по результатам теста, вероятность ошибки возрастает, так как у нас при принятии статистического решения везде возможна ошибка первого рода. Перед проведением тестирования мы определяем, что вероятность увидеть ошибку там, где ее нет — 5%. Если рассматривать 10 метрик, то вероятность поднимется до 40%, (1 – (1 – 0,05)**10 = 0.4).
Проблема подглядывания (ранняя остановка теста). Принятие окончательного решения раньше окончания срока тестирования, в результате чего возрастает вероятность ошибки первого рода.

Также стоит учитывать, что статистическая значимость не всегда равна практической значимости. Например, проверка новой версии приложения на ограниченной аудитории показала статистическую значимость, но реальных и ощутимых изменений метрики нет. В таком случае принимаем решение доработать новую версию и запустить новое тестирование.

Не забывайте, что данный инструмент — не волшебная палочка. В большинстве случаев он дает возможность не ошибиться, нежели найти новую точку роста. Больше 50% тестов заканчиваются отсутствием статистической значимости и отказом от внесения предложенных правок.

Если ты планируешь заработать на фрилансе, то помни, что Интернет перенасыщен дешевыми исполнителями.

Скучающие домохозяйки, уставшие от детей и бытовых хлопот. Любопытные подростки или студенты, подрабатывающие на карманные расходы. Пенсионеры, нашедшие занятие по душе и заодно подработку к пенсии. А возможно, люди, оставшиеся без работы и подрабатывающие на хлеб насущный между собеседованиями.

Позиция таких исполнителей проста: они работают, пока есть настроение или пока некуда деваться. Как только ситуация изменится: найдется работа в офисе, муж получит повышение, подрастут дети или просто откроется дачный сезон, такие исполнители легко покинут фриланс, благополучно забыв о невыполненном задании.

Да-да, мало кто из них чувствует свою ответственность перед заказчиком. Подумаешь, заказчик рассчитывает на вовремя сданную работу! А у тебя появились дела поинтереснее. И зачем переживать за свою репутацию или отзывы, если фриланс для тебя – занятие временное?

Для таких горе-фрилансеров взять задание и исчезнуть – в порядке вещей. Так же, как и схалтурить при выполнении работы. Сделать абы как, лишь бы побыстрее и для себя попроще. А и правда, зачем стараться? Ладно бы еще платили много, а тут – копейки!

И уж, конечно, никто из этих исполнителей не дает себе труда задуматься, а для чего нужна заказчику их работа? Какую пользу она ему принесет, будут ли от нее продажи?

Именно такие исполнители максимально обесценивают труд фрилансеров. Среди них принято снижать цену, чтобы перебить заказ у таких же конкурентов.

Кто-то готов выполнить работу за 200 рублей? А я предложу за 100! Или вообще за кусок хлеба с маслом! Или без масла! Опа – заказ мой!

Откуда берутся такие горе-фрилансеры

Давай-ка вспомним, для кого характерно такое отношение к работе?

Прямо по пунктам:

наплевательское отношение к интересам клиента или работодателя;
стремление схалтурить где только возможно: лишь бы хоть как-то работу приняли, и неважно, что она невысокого качества;
согласие работать за копейки, которые обесценивают труд, лишь бы куда-то взяли, лишь бы не выгнали.

Вспомнил? Мы постоянно встречаемся с такими людьми в реальной жизни. Это всем знакомый наемный труд на хозяина.

Те, кто не видит и не понимает другой формы трудовых отношений, тащат такие же обесценивающие установки и в Интернет!

Вот и получается у них, что заказчик – это зажравшийся толстосум, который наживается на работе бедного честного фрилансера. Обмануть или кинуть толстосума не стыдно, он сам виноват, так ему и надо! Он что там, надеялся, что я тут ради него жилы рвать стану? Ну уж дудки! По минимуму что-то сделаю – и уже пусть радуется. И кусок хлеба мой не забудет отдать!

Мало? А что делать, ситуация в стране такая, кто-то и за полкуска пашет!

И что же получается

Заказчики привыкли к такой ситуации. Привыкли, что рынок фриланса борется за его заказ, предлагая низкие цены.

Но и к низкому качеству работ и безответственности фрилансеров они тоже привыкли.

Чтобы выделиться из толпы кое-какеров (с), нужно предложить заказчику себя - не такого, как все. Выделяющегося из общей массы в лучшую сторону.

Чем ты можешь выделиться, и каким увидят тебя заказчики, читай в этой статье.

p.s. Дефлегматор рассчитывал так:
t° воды на входе 20°С
t°воды на выходе 50°С
t°пара в колонне 78°С
мощность 1 кВ
ну и диаметр внутренний 26мм
Спросите почему я сделал 25 см вместо расчётных 35? Нет ответа на этот вопрос. Наверное посчитал что и так сойдёт

Прошу вас помидорами не кидать в меня
Вопросы. честно говоря не знаю что и спросить, дефлегматор наращивать точно не буду, достаточно одной такой большой переделки.
Если и будет необходимость в переделке то проще наверное изготовить новую, т.к. на часть граблей я уже наступил, дальше будет легче.
Задавайте вопросы если что не понятно или не правильные термины я где то использовал.

Ещё один момент, отдал дистиллят полученный на БК до большой модернизации на хроматографический анализ, в конце декабря сказали будет результат со всеми печатями и подписями, посмотрим что я нагнал

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

2 Ответ от Mihail.Ptesh 2015-12-13 21:28:44

Ух, если у Вас так хорошо получается работать с металлом, делали бы сразу РК, и танцев меньше, и гибкость больше. Я со своими кривыми руками собрал РК после изучения данного форума, но у меня точно абы как, страшная итд) НО, заработала сразу.

3 Ответ от devil-arz 2015-12-13 21:37:36

Мне предлагали так когда я зарегистрировался на форуме и стал задавать вопросы, на тот момент я сказал что ещё не созрел для РК, но после вчерашних танцев начинаю подумывать о РК.
Но в принципе если не делать температуру воды на выходе в районе 50°С то она как бы работает, может не на 100% правильно но результат пока устраивает.

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

4 Ответ от Николя 2015-12-14 09:09:41

Вот блин чудеса, написал в репутации то же что и transfi

Ленивые всё делают быстро, что бы скорее отделаться от работы и делают хорошо, чтобы не переделывать.
С уважением, Николай.
Моё оборудование : → Винокурня Николя

5 Ответ от devil-arz 2015-12-14 09:40:12

ну не даром вы профессионалы

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

6 Ответ от Ivanov & Co 2015-12-14 11:10:03

дефлегматор наращивать точно не буду,

Здравия всем. На мой взгляд, великоват у вас деф, одна из причин танцев с бубном. Стабильности на БК добиться очень сложно, навык приходит после десятка пагонов. Я так понял вы еще и на газу работаете, вообще жесть, вот вторая причина. Переходите на ТЭНы, регулировки будут плавными и понятными, но танцы все равно останутся. Соглашусь со всеми, что РК это наше все, хотя по БК испытываю большую ностальгию.

7 Ответ от Иван 2015-12-14 12:28:17

На мой взгляд, великоват у вас деф

У нержи с теплопроводностью хуже

У вас в жизни всегда будет все, что вы хотите, если вы будете помогать другим людям получать то, чего хотят они.

8 Ответ от Ivanov & Co 2015-12-14 13:36:11

У нержи с теплопроводностью хуже

Да это понятно, просто по фотки показалось,что великоват.Высказал мнение получил люлей

9 Ответ от Иван 2015-12-14 14:44:07

просто по фотки показалось,что великоват

Там еще от толщин огромная зависимость, можно и меньше сделать. с медью все проще, но и без меди голая нержа

Высказал мнение получил люлей

Что за упаднические настроения?

10 Ответ от devil-arz 2015-12-14 15:22:02

У нержи с теплопроводностью хуже

Я вёл беседу уже в какой то теме про теплопроводность, так вот пар не касается непосредственно стенки дефлегматора, сначала идут сконденсированные пары а уж потом металл, соответственно теплопроводность сконденсированного пара меньше чем нержавейка, по моему так, даже рисунок делал

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

11 Ответ от Artem.SHitov 2015-12-14 15:25:05

сначала идут сконденсированные пары а уж потом металл

Да, но тепло от сконденсированного пара передается охлаждающей воде через металл. А чем холоднее слой жидкости на стенке трубы, тем больше тепловой энергии он отбирает у пара.

12 Ответ от devil-arz 2015-12-14 18:34:46

А чем холоднее слой жидкости на стенке трубы, тем больше тепловой энергии он отбирает у пара.

Ну это логично, но если выстроить цепочку пар-конденсат-металл-вода то слабое звено в этом будет конденсат, и если теплоотдачу всей цепочки перевести в единицу времени то принципиальной разницы между медью и нержавейкой думаю не будет.
Это мои личные рассуждения.
Может ещё кто выскажет своё ИМХО

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

13 Ответ от Artem.SHitov 2015-12-14 19:02:47

нет, вот так: холодная вода-теплая нержавейка-горячий конденсат-горячий пар
или: холодная вода-холодная медь-теплый конденсат-горячий пар

14 Ответ от devil-arz 2015-12-14 19:12:53

нет, вот так: холодная вода-теплая нержавейка-горячий конденсат-горячий пар
или: холодная вода-холодная медь-теплый конденсат-горячий пар

а почему это медь холодная а нержавейка тёплая.
я так не согласен.
ведь никто же не измерял температуру царги в зоне дефлегматора, так ведь?

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

15 Ответ от Artem.SHitov 2015-12-14 19:27:57

а почему это медь холодная а нержавейка тёплая.

теплопроводность меди 401 Вт/(м*К), нержавейки в районе 17 Вт/(м*К),
при одинаковой толщине медь передает в 23. раза больше тепла, чем нержавейка от области с высокой температурой к области с низкой.

16 Ответ от devil-arz 2015-12-14 19:46:54

теплопроводность меди 401 Вт/(м*К), нержавейки в районе 17 Вт/(м*К)

Учись делать хорошо, плохо всегда получится.
доп. оборудование: рефрактометр, PH-метр
БК "Абы-как"
РК "Абы-как"

Другие результаты

Так, подожди. люди просто берут абы какие таблетки, даже не зная что это?

So wait. people just take whatever pill they pick, without even knowing what it is?

Мне не нужна абы какая машина, мне нужна конкретно эта машина. Почему?

Положение в плане безопасности улучшилось после того, как вокруг Абы, на границе с Суданом, началось осуществление совместной операции по обеспечению доминирования ВСДРК и МООНДРК, и после того, как в середине ноября в Абе состоялась встреча представителей ВСДРК и Суданской народно-освободительной армии (СНОА).

The security situation improved following the launch of a joint FARDC-MONUC area domination operation around Aba, on the border with the Sudan, and the holding in mid-November of a meeting between FARDC and the Sudanese People's Liberation Army (SPLA) in Aba.

Читайте также: