VirtualExS - сервис виртуальных исследований « все идеи проекта

9

-1
+10

Проблема с переходом от страницы к странице

Во время опроса № 9762 респонденты жаловались, что не могут от первой страницы перейти ко второй. Был какой-то программный сбой. И статистика говорит, что 70 процентов не смогли пройти опрос. Как-то многовато.

Sergiy Terno, 07.02.2014, 23:26
Статус идеи: выполнено

Комментарии

VirtualExS, 08.02.2014, 03:30
Спасибо, Сергей, за сообщение!

Отказов 70% - это очень много! Столь большой процент скорее говорит, что в настройках исследования есть что-то неправильное. Если бы неправильно работала программа, то ни один респондент не смог бы ответить на вопросы.

В большинстве исследований наших пользователей отказы не превышают 20%. Есть даже всего с 5% отказов и сотнями респондентов!

Я просмотрел логи зарегистрированных ошибок в ответах всех исследований за 25.01-02.02 По Вашему исследованию было 35 попыток неправильных ответов, многие с повторной отправкой неправильных ответов. Большинство из них содержали ответы вида "25 рокiв", "57рокiв", "12-15" и др. Т.е. ответы не вписывались в формат, заданный в настройках вопроса о возрасте и проф-практике (требовался ввод только чисел заданного формата).

Подобные ответы вполне нормальные для людей! Однако, повторные попытки дать неправильные ответы можно было избежать, если бы в вопросе (например о возрасте) содержался поясняющий для респондента текст о возникшей ошибке, например такой: "Укажите возраст только цифрами". Или в самом вопросе было бы похожее пояснение, или вопрос имел бы постфиксное сообщение вида "(полных лет) или (укажите возраст цифрами)". В вопросах Вашего исследования не было никаких пояснений на случай неправильного ввода ответа, и люди не могли понять, как им отвечать, и после нескольких попыток дать ответ, бросали опрос. Система регистрировала очередной отказ.

Согласитесь, что все ответы "25рокiв", "25 рокiв", "25-рокiв" и ответ в виде цифр "25" правильные. Но если человеку не сказать, что ответить нужно только вводом цифр, то ему очень сложно понять, как же ответить?

VirtualExS позволяет проводить предварительное тестирование опроса, до его запуска в работу. Такое тестирование может провести как автор единолично (так называемый тестовый проход с/без отладочной информации по ответам при прохождении), так и с привлечением любого числа разных людей. Второе у нас называется многопользовательское "Пилотажное тестирование". Во время такого тестирования, приглашённые респонденты могут указывать свои комментарии о любой части опроса во время его прохождения (указывать на грамматические ошибки или сложность при ответе на вопрос, или жаловаться "система не работает и я не могу пройти .... страницу" и т.д.). Эти комментарии отправляются на email автора (конечно, респондент должен нажать на кнопку "отправить комментарий" автору опроса). Автор может по этим комментариям, тут же изменить схему опроса или настройки любого вопроса, логику прохождения, стилистику текстов, число вариантов ответа и вообще всё. Пилотажное тестирование как раз для этих целей и работает. Кстати в этом режиме также даётся статистика ответов и все введённые респондентами свободные ответы, что помогает шлифовать схему опроса для конкретной, потенциальной, аудитории.

Всё же, Сергей, спасибо за Ваш сигнал о "сбое". Я буду держать его у себя на виду при дальнейшей разработке системы. Очень хотелось бы, чтобы подобные сложности для респондентов возникали как можно реже.
Sergiy Terno, 08.02.2014, 20:18
Спасибо большое за разъяснение. Вы правы, это моя недоработка. Буду впредь внимательнее. У нас, надеюсь, вы осведомлены, время очень спрессовано, в жёстких временных рамках приходится работать. В целом мне очень понравилось пользоваться вашей платформой, хотел выразить признательность. И по ходу сделать предложение: может, стоит добавить в меню возможность создания рейтинговых вопросов. Было бы очень полезно.
VirtualExS, 09.02.2014, 01:17
Спасибо, Сергей, за ценное замечание о времени!

Можно уточнить - что Вы подразумеваете под "рейтинговыми вопросами"?

У нас есть вопросы с ранжированием ответов - это матрица с надстройкой ранжирования, когда невозможно в одном столбце матрицы выбрать две и более строки. Например, одна строка из 3-х предложенных строк, скажем - "Цвет", "Форма", "Вес" - может иметь ответ "Очень важно", другая какая-нибудь строка - "Важно" и последняя - "Не важно", Ранжирование ответов - это по-сути рейтингование ответов?..
Sergiy Terno, 09.02.2014, 02:15
Это ценный тип вороса, и он помог мне определить, что я вляется важным, а что неважным среди требований протестного движения. Но я имел в виду другое: расставить позиции по степени важности: 1 место, 2 место и так далее. Это тоже иногда нужно, поскольку возникает потребность в ранжировании и вычислении рейтинга. Например, когда мы изучаем факторы, важные для студентов в оценке прослушанного курса, то просим их расставить по степени важности следующие позиции: стиль чтения лекций, организация работы на семинарских занятиях, характер индивидуального задания, личность преподавателя и т.д. Получается рейтинговая шкала: что самое важное, что на втором месте, третьем и т.д. В разных курсах рейтинги оказываются разными - а это предмет для размышлений, почему в одном курсе одна иерархия, а в другом - совершенно иная. Было бы замечательно, если бы вы добавили такой тип вопроса, Думаю, он и в бизнессе пригодился бы.
VirtualExS, 09.02.2014, 15:33
Спасибо за пояснение мысли!

То, о чём Вы говорите у нас есть. Это вопрос с ранжированием ответов (не максимального различия, а ранжирования). Однако дизайн такого вопроса несколько отличается от распространённого - мы не используем технику drag-and-dropи динамическое перестраивание порядка ответов для сбора ответов на вопросы из-за высоких "шумов" в выборе нужных респонденту ответов, а также потому, что активные скрипты часто выключены в браузерах.

Сергей, мы предлагаем авторам именно конструктор исследований, а не механизм сборки исследований из жёстко подогнанных друг к другу конструктивных блоков.

Для примера. Многие системы по созданию опросов можно сравнить со строительством некоего города. В таких системах авторы опросов берут уже готовый дом (настроенный вопрос) и располагают его на уже готовой улице (настроенной странице). Со временем получается некий стандартный город со стандартными улицами и стандартными жильцами. Наш же конструктор опросов позволяет авторам проектировать в домах даже квартиры по собственному желанию, проектировать архитектуру каждого дома и улицы, и строить уникальные города. Конечно, у нашего конструктора есть возможность строить стандартные дома и во многих случаях используются именно стандартные дома.

Ваше сообщение и сообщения наших пользователей по почте о похожих проблемах, говорит о наличии в нашем конструкторе опросов большого, жирного бага - это дизайн страниц конструктора, а также использование слишком общей терминологии в описании элементов конструктора. И я Вам очень благодарен за то, что Вы в вежливой форме показали мне направление дальнейшего развития системы! Спасибо, Сергей!
VirtualExS, 09.02.2014, 18:59
Изменил описание вопроса с ранжированием ответов.

Было:
Варианты ответа являются рангами утверждений?
- Да. Варианты ответа используются для ранжирования утверждений



Стало:
Вопрос является шкалой оценок?
- Да. Основные варианты ответа используются для оценки утверждений

Оставить комментарий