Онлайн-тестирование как метод оценки технических компетенций (ТНК-ВР)

Техническое обучение будет эффективным, если точно и объективно определить необходимые конкретному специалисту (или целевой группе) тематики обучения и глубину их изучения. А чтобы вся дисциплина эффективно выполняла свои задачи в Компании, необходимо регулярно проверять соответствие знаний и навыков специалистов этой дисциплины профессиональным требованиям. Электронное тестирование – один из методов оценки компетенций сотрудников – позволяет быстро и эффективно достичь этих целей.

Сергей Митричев, руководитель группы развития технических дисциплин, Департамент корпоративного обучения и развития, Управление кадров

Оценка профессиональных (технических) компетенций персонала, в том числе методом онлайн-тестирования, проводится централизованно по поручению лидера дисциплины для всех ее специалистов. Это дает возможность установить средний уровень квалификации в дисциплине по Компании и возможные общие «пробелы» в компетенциях. Результаты оценки лидер дисциплины и кадровые службы дочерних обществ используют для планирования программ обучения на следующий год и внедрения новых технологий в дисциплине. Кроме того, такая оценка помогает выявить специалистов, компетенции которых развиты гораздо выше требуемого уровня, что позволяет судить об их высоком потенциале и зачислить в профессиональный кадровый резерв.

К преимуществам онлайн-тестирования как метода оценки профессиональных компетенций можно отнести:

• объективность оценки, обусловленную автоматическим режимом, не зависящим от мнения конкретного оценщика, – это позволяет получить актуальную картину состояния знаний и умений специалистов в технической дисциплине и максимально увеличить отдачу от вложений в техническое обучение;

• широкий охват через компьютерную сеть Компании при сохранении конфиденциальности результатов оценки;
• скорость проведения оценки и удобство для сотрудника – каждый специалист может пройти эту процедуру в удобное время в период проведения оценки (обычно в течение двух-четырех недель), что означает минимальный отрыв от производственного процесса;
• существенные первоначальные затраты на создание банка вопросов многократно окупаются путем экономии на проведении самой оценки – онлайн-тестирование через «Портал знаний» не несет затрат для Компании .

Принципы онлайн-тестирования

Один из основных принципов онлайн-тестирования, применяющегося в ТНК-ВР, – проверка действительного знания темы, а не списывание правильных ответов на вопросы . Соблюдение этого принципа достигается составлением индивидуального варианта теста для каждого сотрудника – за счет случайного выбора вопросов из банка, содержащего кратно больше вопросов, чем представлено в тесте, случайного порядка следования ответов и других мер.

При помощи одного-двух тестов проверяется уровень знаний по всем необходимым сотруднику компетенциям. Тест для дисциплины составляется с полным покрытием всех компетенций, определенных для нее или более узкой целевой группы, и позволяет сотруднику проявить свои знания и навыки по всем возможным темам в его специальности.

Как составляется тест

Набор вопросов для тестирования разрабатывается экспертами дисциплин Компании самостоятельно или с привлечением внешних подрядчиков (научных или сервисных организаций, работающих в конкретной области), а затем загружается в «Портал знаний».

В зависимости от типа вопроса оцениваемому сотруднику может быть предложено сделать единственный или множественный выбор из нескольких вариантов, ввести в поле ответа число или текст (в свободной форме), соотнести элементы двух наборов ответов или расположить ответы в нужной последовательности.

Кроме того, вопрос может содержать одно или несколько графических изображений, иллюстрирующих задачу.

Каждый вопрос имеет уровень сложности от одного до четырех и направлен на проверку одной компетенции или одного индикатора знаний или навыка . Если специалист правильно отвечает на вопрос, то, вероятнее всего, данная компетенция развита у него на таком же уровне. Система задает специалисту несколько вопросов разного уровня сложности на одну и ту же компетенцию и, усредняя результат, определяет актуальный уровень ее развития у конкретного сотрудника.

Тест, который составляется для проведения онлайн-тестирования в дисциплине, может более надежно оценивать ключевые для дисциплины профессиональные компетенции (для этого включается больше вопросов) и более грубо – вспомогательные компетенции. В ходе теста происходит оценка знаний и навыков по всем уровням (без учета должностного профиля), что позволяет выявить высокий потенциал знаний сотрудника по компетенциям, пока не актуальным на его нынешнем уровне. Прохождение такого теста требует больше времени (обычно один-два часа для шести-десяти компетенций) за счет исчерпывающей выборки вопросов по всему диапазону уровней.

Баллы за ответы на вопросы присваиваются системой автоматически:

• За правильный ответ на вопросы с единственным правильным ответом или цифровым вводом начисляется один балл .
• Правильность ответа на вопросы с текстовым вводом проверяется экспертами, которые решают, верен он или нет, и начисляют (либо не начисляют) один балл .
• По каждому вопросу с множественным выбором подсчитывается количество правильных и неправильных ответов, а общий балл определяется по следующей формуле: Балл за вопрос = a/A – b/B, где: а – количество правильных ответов участника на вопрос теста;             А – общее количество правильных ответов на данный вопрос; b – количество неправильных ответов участника на вопрос;  В – общее количество неправильных ответов на данный вопрос. В случае получения отрицательного результата за вопрос начисляется нулевой балл .
• Для вопросов, где требуется соотнести элементы двух наборов ответов, рассчитывается доля выбранных правильных соотнесений из общего числа элементов в наборе по следующей формуле: Балл за вопрос = a/A, где: a – количество правильных пар, выбранных участником; A – количество пар для соотнесения в вопросе .
• Для вопросов, где требуется расставить варианты ответа в правильной последовательности, за правильную расстановку присваивается один балл, в других случаях баллы не начисляются.

Уровень развития компетенции (индикатора) автоматически рассчитывается по окончании теста для каждой компетенции (индикатора), присутствующей в тестовых вопросах, по следующей формуле:

Оценка компетенции = Lmin + (S (Lmax– Lmin))/N, где: S – сумма баллов, набранных за ответы на все вопросы по данной компетенции (индикатору);  N – количество вопросов по данной компетенции (индикатору);  Lmin – минимальное значение уровня владения компетенцией, которое присваивается при полном отсутствии правильных ответов на вопросы по этой компетенции (чаще всего Lmin=0);  Lmax – значение уровня владения компетенцией, которое присваивается в случае правильных ответов на все вопросы по этой компетенции (чаще всего Lmax= 4).

Для пользователя система отображает процент выполнения теста в целом, рассчитанный по формуле:

Процент выполнения = S/Smax, где: S – сумма баллов, набранных за ответы на все вопросы по данной компетенции (индикатору);  Smax – сумма баллов, которую можно набрать, ответив верно на все вопросы данной компетенции (индикатора).

Для подготовки сводных отчетов необходим расчет усредненного отклонения от целевого профиля по компетенции для группы участников по следующей формуле:

Усредненное отклонение = Σi = 1N(Si – Pi)/N, где: Si  – сумма баллов, набранных  i-м участником за ответы на все вопросы по компетенции (индикатору);  Pi  – целевое значение уровня развития данной компетенции (индикатора) из профиля должности i-го участника;  N – количество участников тестирования.

Как обеспечивается валидность теста

Валидность – это характеристика онлайн-теста как инструмента оценки компетенций, позволяющая с уверенностью говорить об объективности оценки сотрудников, которые проходят тестирование. Раз в год проводится статистический анализ распределения баллов по каждому профессиональному тесту. Для этой цели необходимо определить степень фактического отклонения распределения оценок от нормального распределения. Анализ проводится отдельно по каждой целевой группе участников тестирования. Целевые группы формируются по схожести целевых профилей развития компетенций.

Что в результате

Вскоре «Портал знаний» будет предоставлять несколько видов автоматических отчетов по результатам оценки:

• персональный отчет по компетенциям по результатам выбранной оценочной процедуры или по совокупности оценок сотрудника в его дисциплине, доступный каждому участвовавшему сотруднику на «Портале знаний» в разделе «Личный кабинет» / «Мои оценки»;

• сводный отчет по компетенциям по результатам выбранной оценочной процедуры или по совокупности оценок (по всем оценочным процедурам) по выбранным подразделениям Компании и выбранным профилям компетенций, доступный в разделе «Администрирование» / «Отчетность» / «Отчеты по оценке».

Персональный отчет будет доступен сотруднику, прошедшему тестирование, его руководителям и работникам кадровой службы и будет содержать следующую информацию:

• ФИО, должность и подразделение, в котором работает сотрудник;

• даты проведения оценочной процедуры или диапазон дат для совокупности оценок;
• полученные оценки по компетенциям (индикаторам) или усредненные оценки по всем процедурам за период в виде столбчатой диаграммы;
• целевой профиль сотрудника по компетенциям (индикаторам) в виде графика с точками на той же диаграмме;
• список «Сильные стороны» – три компетенции, имеющие наибольшую положительную разницу между оценкой и профилем должности, отсортированные в порядке убывания этой разницы;
• список «Зоны развития» – три компетенции, имеющие наибольшую отрицательную разницу между оценкой и профилем должности, отсортированные в порядке убывания этой разницы.

Сводный отчет будет доступен руководителям (только результаты сотрудников возглавляемого и нижележащих подразделений) и сотрудникам кадровой службы (только результаты сотрудников курируемого и нижележащих подразделений) и будет содержать следующую информацию:

• подразделения, оценка сотрудников которых включается в отчет, и общее количество сотрудников;
• даты проведения оценочной процедуры или диапазон дат для совокупности оценок;
• усредненные отклонения от целевого профиля по результатам оценки сотрудников по каждой компетенции (индикатору) в виде столбчатой диаграммы, имеющей положительную и отрицательную области значений – от -5 до +5.