Публикуемые «Методические
рекомендации…» были составлены
одним из ведущих специалистов России
в области сложных
конкурсов, к.т.н. Д.А. Абдрахимовым
для одного из конкурсов,
проводившихся федеральным госзаказчиком.
Однако принципы и подходы к
методологии оценок,
отраженные в этом документе, являются
общими и для заинтересованного и
думающего читателя этот документ
может стать
надежным рабочим инструментом.
ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ
о порядке экспертизы заявок и определения победителей конкурса
От автора: Уважаемые
дамы, господа и товарищи! Это не более, чем
методические рекомендации, понравившиеся элементы которых вы вольны применять
по собственному усмотрению.
Этот текст предназначен для
экспертов, потому он может потребовать определенных усилий
для полного восприятия специалистами, ранее не имевшими отношения
к профессиональной
экспертизе. Однако дело того стоит, если ставить перед собой цели
осуществления эффективных закупок для нужд вашего ведомства.
Со своей
стороны готов предоставить любые
разъяснения, а также практическую помощь в реализации изложенных
здесь подходов.
Смею уверить – да вы и сами в работе это увидите – что большинство из написанного
ниже на практике реализуется далеко не так заумно, как кажется, зато
очень конструктивно.
1.
Общие положения
1. Конкурсная комиссия принимает решение
о победителе конкурса по каждому лоту отдельно.
Итоги конкурса по каждому лоту могут
подводиться независимо, однако может оказаться более целесообразным при определении
победителя по каждому лоту принимать во внимание итоги конкурса по другим лотам
(при этом лоты фактически оказываются зависимыми). Это позволит на этапе предконтрактных переговоров включить в госконтракт
дополнительные обременительные для победителя условия в качестве компенсации скидок с цены контракта
при увеличении его объема за счет консолидации нескольких лотов
(наверняка в ТЗ нередко что-либо окаывается упущенным и поэтому обычно можно ожидать от
поставщиков дополнительных опционных предложений).
2. Экспертиза конкурсных заявок проводится
поэтапно. Цель каждого этапа – последовательное сокращение числа претендентов
на победу по каждому лоту. Укрупненно можно выделить
две стадии экспертизы:
·
отборочная стадия – когда индивидуально
отклоняются заявки, не соответствующие хотя бы одному существенному (по мнению Конкурсной комиссии) требованию конкурсной документации;
·
оценочная стадия – когда заявки оцениваются
и ранжируются по степени предпочтительности и наименее конкурентоспособные
заявки последовательно исключаются из дальнейшего рассмотрения.
3. Конкурсные заявки могут отклоняться
или исключаться только
решением конкурсной комиссии с возможным учетом рекомендаций экспертов с обязательным
указанием конкретных причин в протоколе заседания Конкурсной комиссии.
4. При отклонении конкурсной заявки
на отборочной стадии по основаниям недостаточной квалификации поставщика следует
помнить, что для любого поставщика признание его «не прошедшим квалифицированный
отбор» является «позорным» (в отличие от непризнания его победителем конкурса),
подрывает его деловую репутацию и может приводить к ненужным спорам. И,
например, если в условиях какого-либо конкретного конкурса не указаны явные квалификационные
отборочные критерии (позволяющие однозначно отклонять заявки) следует по возможности
не отклонять заявки по квалификационным мотивам. В любом случае не следует
применять норму о представлении поставщику (по его запросу) списка поставщиков,
прошедших квалификационный отбор (впервые введена Указом Президента РФ № 305 от
8 апреля 1997 г.).
2.
Элементы организационной структуры
1. Для оценки поступивших конкурсных
заявок Конкурсная комиссия создает/утверждает состав
Экспертной комиссии и ее председателя (с оформлением соответствующего протокола).
Задачей экспертной комиссии обычно является представление членам Конкурсной
комиссии оценок поступивших конкурсных заявок и рекомендаций
по определению победителей конкурса по каждому лоту.
Конкурсная комиссия учитывает мнение
членов Экспертной комиссии, но может принять любое
самостоятельное итоговое решение по каждому лоту. После принятия решения всю ответственность
за него несет конкурсная комиссия.
2. Для эффективной работы конкурсной
комиссии полезно иметь Ответственного секретаря конкурсной комиссии –
полноправного ее члена с правом голоса (не путать с техническим секретарем, ведущим
стенограммы заседаний и расшифровывающим диктофонные записи заседаний).
Это не представительская, а рабочая
функция и им не должен быть «большой начальник», на котором лежит много других обязанностей.
Функция аналогична функциям «ответственного исполнителя» при проведении НИОКР,
«главного инженера проекта» в проектировании или «прораба» на стройке.
Ответственный секретарь должен большую часть рабочего времени тратить именно на
данный конкурс и, что важно, иметь достаточные знания не только в области конкурсных
технологий, но и по предмету закупки – знать свойства нужной продукции,
потребности своего ведомства, ее рынок,
основных (вероятных) поставщиков и разумные возможные альтернативы. Нелишне
напомнить, что на такой пост должен назначаться сотрудник, имеющий профессиональный
и личностный авторитет среди коллег. Именно такого Ответственного секретаря
полезно назначить Председателем Экспертной комиссии. Ему нужен
квалифицированный заместитель, контролирующий состояние всех дел по конкурсу и
способный принимать решения при временном отсутствии Председателя Экспертной
комиссии.
3. В рамках Экспертной комиссии
следует заранее выделить рабочие группы (или отдельных экспертов), участвующих
за проведение:
- юридической экспертизы;
- экономической экспертизы;
- технической экспертизы.
Для каждой рабочей группы должен быть
назначен руководитель группы, организующий ее работу и несущий персональную
ответственность за своевременное представление результатов экспертизы
председателю Экспертной комиссии.
4. Наряду с Экспертной комиссией решением
Конкурсной комиссии целесообразно назначить состав и руководителя группы
технологического обеспечения работы Конкурсной и Экспертной комиссий. Данная
группа:
·
обеспечивает методическую
организационно-технологическую и информационно-аналитическую поддержку работы
Конкурсной и Экспертной комиссии;
·
обеспечивает ознакомление членов Экспертной
комиссии с конкурсными предложениями Поставщиков, сбор, формализацию и
обработку оценок и мнений членов Конкурсной и Экспертной комиссий;
·
оформляет проект заключения и рекомендаций
Экспертной комиссии по результатам экспертизы конкурсных заявок.
Руководитель этой группы находится в
непосредственном подчинении Ответственного секретаря конкурсной комиссии –
Председателя Экспертной комиссии.
3.
Этапы проведения экспертизы конкурсных
заявок
1. На отборочной стадии экспертизы конкурсных
заявок (цель – отклонение заявок,
не соответствующих требованиям законодательства или требованиям, указанным в конкурсной
документации) можно выделить следующие этапы:
·
оценка соответствия
состава и оформления каждой
конкурсной заявки
требованиям конкурсной документации —
особое внимание – правомочиям лиц, подписавших конкурсную заявку, совершать
сделки от имени участника конкурса (ответственный – руководитель группы
юридической экспертизы); при этом должно быть проверено выполнение явных
требований, которые в конкурсной документации указаны, как «обязательные»;
·
оценка правоспособности участников
конкурса и их правомочий участвовать
в данном конкурсе и заключить государственный контракт — оцениваются уставные и
регистрационные документы, лицензии, доверенности изготовителей продукции,
дилерские соглашения, соглашения о совместной деятельности и иные
представленные поставщиком юридические документы (ответственный – руководитель
группы юридической экспертизы);
·
оценка соответствия
квалификации участников
конкурса требованиям конкурсной документации (ответственный – руководитель группы
экономической экспертизы);
в качестве традиционных критериев здесь можно привести:
·
общий опыт работы — рассматриваются
сроки создания предприятия поставщика и объемы выполненных контрактов за последние
годы;
·
специальный опыт работы — рассматриваются
объемы выполненных аналогичных контрактов за последние годы, особо выделяются
контракты с российскими партнерами, среди которых особо выделяются контракты с
бюджетными организациями (лучше - федеральными госзаказчиками),
среди которых особо выделяются предыдущие контракты с данным
конкретным госзаказчиком;
·
наличие у участника
конкурса партнеров (возможных или заявленных субконтракторов)
из числа российских фирм, способных квалифицированно провести монтажные, пуско-наладочные
и другие работы на территории Заказчика;
·
финансовые возможности — оцениваются
балансы, отчеты о прибылях и убытках, банковские справки, аудиторские
заключения;
·
кадровые возможности — рассматривается
информация о персонале поставщика;
·
репутация — рассматривается информация
о судебных исках против участника конкурса, среди которых особо выделяются
судебные решения, вынесенные против участника конкурса – привлекаются члены
группы юридической экспертизы;
·
оценка соответствия
предлагаемой к поставке по каждому лоту продукции
требованиям конкурсной документации — рассматривается существо технических
предложений и отклоняются заведомо неприемлемые концепции реализации
технических требований, не соответствующие целевому назначению закупок по
данному лоту — не вдаваясь в рассмотрение конкретных технических параметров
(ответственный – руководитель группы технической экспертизы); при этом должно быть проверено выполнение явных требований, которые в
конкурсной документации указаны, как «обязательные»
В своем
заключении по результатам отборочной стадии экспертизы конкурсных заявок каждый
эксперт любой группы, отмечающий несоответствие какой-либо заявки по какому-либо
лоту требованиям условий проведения конкурса, должен явным образом указать,
считает ли он каждый из выявленных недостатков, либо всех недостатков в
совокупности, достаточным основанием для отклонения данной конкурсной заявки.
2. На оценочной стадии экспертизы конкурсных
заявок (цель – экспертная оценка и ранжирование поступивших заявок отдельно по
каждому лоту) можно выделить следующие этапы:
·
отборочный этап (оценочной стадии) — здесь каждая группа Экспертной комиссии
должна еще раз проверить и особо отметить в своем заключении, что ни одна неотклоненная заявка не содержит неприемлемых для Заказчика
технических, экономических или юридических условий (прежде всего условий, не
оговоренных в конкурсной документации). Расчитывать на
отклонение таких условий на предконтрактных переговорах
с победителем конкурса по данному лоту нельзя. Победитель конкурса вправе
настаивать на включение в госконтракт любых условий,
оговоренных в его конкурсной заявке;
·
оценочный этап (оценочной стадии) —
количественная экспертная оценка — об этом подробнее будет ниже по тексту.
3. Особо важную роль на отборочном этапе
играет техническая экспертиза. Далее мнения технических экспертов будут обрабатываться
балльно-весовыми методами, которые обладают
компенсаторным эффектом, когда неприемлемые оценки по одним критериям компенсируются
(и тем самым маскируются) высокими оценками по другим критериям. Это может
привести к обязанности покупать у победителя конкурса, выбранного «по формуле»,
продукцию с неприемлемыми характеристиками. Чтобы избежать этого необходимо не
допускать до балльно-весовых процедур (т.е. отклонять
по данному лоту) конкурсные заявки, имеющие неприемлемое значение хотя бы по одному (!!!) критерию оценки (т.е.
по любой из позиций спецификации закупаемой по лоту продукции). Кстати, из этого
следует, что непринципиальные для заказчика критерии ни в коем случае не должны
заявляться, как отборочные.
4. На оценочном этапе группа юридической
экспертизы должна оценить степень предпочтительности предлагаемых поставщиками
юридических контрактных условий по каждому лоту отдельно. Критерии оценки
целесообразно поручить им продумать заранее, хотя,
полагаю, до их ознакомления с заявками сформировать полный перечень критериев
не удастся. Для работы с юристами целесообразно использовать прямую экспертную
оценку. Сначала получают и обрабатывают их абсолютные оценки предпочтительности
заявок (типа анкетирования и «мягкого рейтингового голосования»).
В случае затруднений в экспертной оценке могут быть использованы относительные оценки,
получаемые от экспертов методом парных сравнений.
5. На оценочном этапе группа экономической
экспертизы должна оценить степень
предпочтительности предлагаемых поставщиками экономических контрактных условий по
каждому лоту отдельно. С ними можно работать в том же режиме, как и с юристами,
однако, если у заказчика есть опытные экономисты, более целесообразно провести
экономические расчеты по традиционным экономическим критериям оценки, отражающим
«совокупную стоимость владения» закупаемой продукцией, вплоть до затрат на
утилизацию.
К примеру, при формировании обобщенных
экспертных оценок экономических выгод и издержек, а также при учете факторов
риска и неопределенности можно руководствоваться «Методическими рекомендациями
по оценке эффективности инвестиционных проектов (вторая редакция)»
утвержденными Минэкономики РФ, Минфином РФ, Госкомитетом РФ по строительной,
архитектурной и жилищной политике №ВК 477 от 21.06.99.
Следует учитывать то, что получение
от участников всех исходных данных (например, эксплуатационных расходов) да еще
по всем позициям спецификаций по каждому лоту, во многих конкурсах маловероятно.
Тогда такой подход придется использовать по отдельным лотам или по отдельным
наиболее важным позициям спецификаций.
На
практике основная задача экономической экспертизы на оценочном этапе сводится к
приведению предлагаемых участниками конкурса цен к единому базису — одинаковым валютам,
одинаковому составу итоговой цены (стоимость оборудования, монтажа, обучения,
гарантий, сроков
и условий поставки, транспортной страховки и т.д.) обеспечивающим возможность сопоставления
заявок по ценам на финальном этапе работы Конкурсной комиссии.
Достаточно существенным может оказаться вопрос предлагаемых сроков поставки. Если
они у разных поставщиков будут велики и при этом существенно
различаться, необходимо будет проводить дисконтирование цен (учет фактора
времени — с учетом возможных дополнительных платежей за оттяжку использования
кредита в соответствии с предполагаемыми условиями кредитного соглашения) или
расходов на хранение досрочно прибывшей продукции.
6. На оценочном этапе группа технической
экспертизы должна оценить степень предпочтительности предлагаемых поставщиками
технических контрактных условий по каждому лоту отдельно.
По каждому лоту Председатель Экспертной
комиссии назначает ответственного исполнителя экспертизы, который организует
работу экспертов, назначенных им для оценки заявок по каждому из технических
критериев данного лота. Оценки по каждому из критериев должны давать эксперты,
компетентные в соответствующей предметной области. Все назначения экспертов
согласуются с Председателем Экспертной комиссии.
4.
Проведение технической экспертизы
4.1. Критерии
технической
оценки предложений.
1. Для технической оценки предложений
необходимо для каждого лота разработать систему критериев. Одним из условий
получения достоверных оценок в обычных условиях является создание иерархической системы критериев. Число уровней иерархии критериев
обычно не превышает 3-5. Чем меньше, тем лучше. Однако желательно, чтобы на
каждом уровне иерархии число вложенных критериев не превышала 7 (среднестатистический
объем оперативной памяти человека). Для нижних уровней иерархии это не более, чем пожелание. Чем выше уровень, тем к большим ошибкам
обычно приводит невыполнение этого «пожелания».
Надо стремиться строить иерархию таким
образом, чтобы на каждом уровне каждый критерий входил только в один обобщающий
критерий (т.е. критерий более высокого уровня иерархии). Нарушение этого
«пожелания» свидетельствует о зависимости критериев верхнего уровня, что приводит
к ошибочным результатам взвешенного суммирования оценок по этим критериям. К
сожалению, данное «пожелание» удается выполнить не всегда.
2. Вышеизложенное
относится только к техническим критериям. Операция взвешенного суммирования не может
давать правильных результатов при сложении зависимых величин. Технические и
экономические оценки объектов одного вида обычно статистически зависимы. Как правило,
чем предложение лучше, тем оно и дороже. . Поэтому взвешенное суммирование технических и экономических
критериев недопустимо. Для определения победителей членами Конкурсной комиссии
на основе сопоставления выгод (это, прежде всего, технические критерии) и
издержек (прежде всего – экономические критерии) по каждому лоту можно
предложить использовать специальные информационно-аналитические технологии
представления результатов экспертизы в виде точек на плоскости «Неценовая
предпочтительность – приведенная цена конкурсных заявок».
3. Для формулировки находящейся на верхнем
(нулевом) уровне иерархии критериев итоговой оценки предпочтительности
технических предложений участников конкурса можно взять, например,
следующую формулировку: «итоговая оценка предпочтительности технических
предложений участников конкурса».
На следующем (первом) уровне иерархии
главное место должен занимать обобщенный критерий «Функциональные возможности и
надежность оборудования». Наполнение этого критерия на третьем уровне иерархии
для каждого лота следует брать из изложенных в ТЗ технических требований к
функциональным характеристикам закупаемого оборудования. При формировании
критериев, описывающих «целевое назначение» закупаемой продукции, не следует «зацикливаться» на технических параметрах. Следует помнить,
что технические параметры есть только средство выражения главного в закупаемой
продукции — потребительских свойств.
На этом же (первом) уровне должен быть
обобщенный критерий «Надежность поставщика», причем, чем сложнее и «инновационнее» закупаемое оборудование, тем выше должна быть
относительная значимость этого критерия. Можно сказать, что данный критерий
носит в определенной степени «мультипликативный» характер. Только не в смысле
необходимости перемножения оценок функциональных возможностей и надежности
поставщика, а в смысле умножения на ноль любых обещаний замечательных
функциональных характеристик за счет «нулевой» квалификации поставщика.
Для производителей серийной техники это не особо важно. Но при закупках сложной
инновационной техники (если в данном конкурсе есть такое оборудование и
программное обеспечение) этот критерий имеет очень существенное значение. В
качестве наполнения данного критерия можно рекомендовать использовать в
качестве основы критерии, обычно применяемые на этапе квалификационного отбора.
Аналогично, для сложного оборудования
и программного обеспечения на этом же первом уровне иерархии должен находиться
критерий «Послепродажный сервис», поскольку самое замечательное оборудование от
надежного поставщика невозможно заставить работать надежно и эффективно без
соответствующего обучения персонала, гарантийного и послегарантийного
обслуживания, обеспечения расходными материалами и ЗИПом
и т.п. При этом для формирования «наполнения» этого критерия следует взять по
возможности все требования по гарантийному и послегарантийному обслуживанию из
ТЗ. Причем для импортных поставок сложной техники часто ключевое значение
играет предоставление оперативного сервиса именно на русском языке.
4.2. Шкалы
оценки
При назначении оценок по каждому из
критериев эксперты должны использовать одну и ту же шкалу. Для работы можно рекомендовать
следующую шкалу абсолютных оценок:
|
Словесная оценка
|
"Школьная" интерпретация
|
Численная оценка (Балл)
|
|
"Минимально приемлемо"
|
3 - - (три с двумя минусами)
|
0,0
|
|
"Очень посредственно"
|
3 -
|
0,1
|
|
"Посредственно/Удовлетворительно"
|
3
|
0,2
|
|
"Вполне удовлетворительно"
|
3 +
|
0,3
|
|
"Почти хорошо"
|
4 -
|
0,4
|
|
"Хорошо"
|
4
|
0,5
|
|
"Очень хорошо"
|
4+
|
0,6
|
|
"Почти отлично"
|
5 -
|
0,7
|
|
"Отлично"
|
5
|
0,8
|
|
"Замечательно"
|
5 +
|
0,9
|
|
"Идеально"
|
5 + +
|
1,0
|
В данном случае использована
шакала оценок от 0 до 1. С тем же успехом в правую графу можно поставить и числа
от 0 до 10, от 0 до 100 и т.д. Здесь важно, что нулевая оценка ставится за
«Минимально приемлемо», т.е. за точное выполнение минимальных
жестких требований ТЗ. Насчет максимальной оценки «Идеально» — чуть ниже.
Использование одной и той же линейной
шкалы для всех критериев оценки конкурсных предложений позволит членам Конкурсной
комиссии перевести обратно на русский язык полученные в виде чисел (от 0 до 1)
итоговые оценки предпочтительности конкурсных заявок по всем техническим
критериям. Главное здесь нигде не публиковать полученные численные оценки без
использованной шкалы словесного перевода. А то некоторые могут испугаться
оценок 0.0, полагая, что это нулевая ценность конкурсной заявки. На самом деле
это означает, что поставщик оказался исключительно грамотным и дал предложения, в точности соответствующие минимальным
техническим требованиям конкурсной документации. Если бы гипотетический
Заказчик при написании конкурсной документации совершенно точно знал, что ему
нужно, то данная заявка (с итоговой технической оценкой 0.0), имела бы все
возможности оказаться и самой дешевой (в силу вышеупомянутой зависимости технических и экономических оценок
объектов одного вида) и тем самым выиграть конкурс.
Отрицательных (неудовлетворительных)
оценок на этой шкале быть не может (они соответствуют
предложениям с неприемлемыми характеристиками, которые должны были быть
отклонены на отборочном этапе оценочной стадии экспертизы).
4.3. Оценивание
Для занесения экспертных оценок заранее
для каждого эксперта по каждому лоту готовится таблица «Критерии / Номера
конкурсных заявок». В каждую ячейку таблицы эксперт (после поиска информации о
содержащихся в данной заявке технических предложениях по данному критерию)
заносит свою оценку, пользуясь вышеприведенной шкалой.
Любой эксперт может столкнуться со следующей
ситуацией. Понятие «идеального» значения характеристики конкурсного предложения
по конкретному критерию у эксперта существовало и до
данного конкурса. Обычно оно основано на личном опыте эксперта и знакомстве с
мировыми достижениями по публикациям. Может случиться, что какое-либо из
конкурсных предложений будет содержать предложения, превышающие априорное
понятие эксперта «Идеальное значение характеристики». Здесь возможны два подхода.
В первом случае эксперт в процессе рассмотрения такой
заявки корректирует свое понятие «идеально» для данного критерия, ставит данной
заявке оценку 1.0, пропорционально уменьшает все оценки по данному критерию для
ранее рассмотренных заявок и использует новое понятие «идеально» при
рассмотрении последующих заявок. Во втором случае эксперт для такого
предложения ставит оценку, превышающую 1.0.
Второй подход представляется более предпочтительным.
Рассмотрим аналогию. Член приемной комиссии ВУЗа на экзамене по профильному
предмету привычно ставит пятерки «обычным» абитуриентам-отличникам. И вдруг
сталкивается с абитуриентом-вундеркиндом. Ставить
«вундеркинду» пятерку, а всем остальным «отличникам» и прочим снижать оценки, к
примеру, в 2 раза, наверное, не очень справедливо. Лучше «вундеркинду»
поставить в ведомость оценку, например, 8 (на пятибалльной шкале). А дальше –
все как обычно. Эта оценка поможет «вундеркинду» компенсировать не слишком
хорошие, НО ПРИЕМЛЕМЫЕ (после отборочного этапа оценочной стадии) оценки по
непрофильным предметам. Здесь важно отметить, что существует вероятность того,
что при высоких оценках и по другим критериям («предметам») итоговая оценка
также окажется выше 1.0. Поэтому при использовании второго подхода эксперт в своем заключении для Конкурсной комиссии должен
обязательно оговорить, что оценка 1.0 для него соответствует априорному (до
знакомства с заявками) понятию «Идеально» по данному критерию и обосновать
уникальность конкурсной заявки-«вундеркинда».
Все вышеизложенное относится к т.н.
«абсолютным» оценкам (пример – школьные оценки), которые позволяют с одинаковым
успехом оценивать любое число заявок. На этой шкале может быть при необходимости
оценена даже единственная заявка (пример – оценка целесообразности кредитования
банком единственного проекта, при отсутствии проектов – конкурентов). Для
оценки заявок могут также использоваться и т.н. «относительные» оценки, когда
ставится задача оценить относительную предпочтительность
заявок в конкретной группе
путем распределения 100% среди конкурентов исходя из их относительной
предпочтительности. Например, в семье после премии надо распределить 1000
рублей среди пяти детей пропорционально их успеваемости и поведению — здесь что пять одинаковых отличников, что пять одинаковых троечников
все равно получат по 20% от общей суммы, зато если дети неодинаковы,
распределение ресурсов произойдет гораздо точнее.
Второй метод основан на парных сравнениях
заявок по каждому из критериев (в литературе — метод анализа иерархий Т.Саати).
Он более точен, позволяет контролировать последовательность суждений эксперта, однако
технологически гораздо более сложен и без труда может использоваться только при
применении специальных программных средств. По предыдущему опыту метод дает
наилучшие результаты, когда число критериев на каждом уровне иерархии лежит в
диапазоне от 3 до 7. В целом при экспертизе сложных проектов наиболее
конструктивным представляется в случае большого числа заявок сначала использовать
абсолютные оценки для предварительного выделения 4-6 наиболее конкурентоспособных
альтернатив, а затем определить победителя с максимальной точностью путем
использования относительных оценок.
Для получения более надежных оценок
заявок по наиболее важным критериям (как абсолютных, так и относительных оценок)
можно использовать одновременно нескольких экспертов с последующим усреднением
результатов экспертизы. Оценки экспертов можно складывать с использованием
весовых коэффициентов, отражающих квалификацию экспертов. Однако здесь обычно
возникают серьезные морально-этические проблемы, поскольку назначать веса
экспертам – серьезная задача. Только на научные звания, награды, публикации и
т.п. здесь ориентироваться просто опасно. Существуют технологии усреднения мнения
группы экспертов и дать оценки степени согласованности
их оценок, с указанием степени рассогласованности каждого критерия, оценкой
степень «экстравагантности» каждого эксперта (подробнее на сайте decisionsupporter.com).
Следует помнить, что информационно-аналитические системы поддержки принятия решений как и любые другие машинные системы, не могут указать,
мнение какого эксперта более правильное, однако дают богатый материал для
проведения неформальных процедур повышения степени согласованности мнений группы
экспертов.
Любой
член Экспертного совета, имеющий особое мнение, отличное от обобщенного мнения других
экспертов обязан довести это особое мнение до сведения группы информационно-методического
и программно-технологического обеспечения для последующего обязательного
доведения до сведения Конкурсной комиссии.
Экспертные оценки, а также их аргументированное
обоснование представляются в письменном виде и на дискетах в согласованном
формате.
4.4. Весовые
коэффициенты
На
каждом уровне иерархии, внутри каждой группы критериев эксперты должны сформировать
систему весовых коэффициентов, отражающих их мнение об относительной
приоритетности (значимости) оценок по критериям (в примере про «вундеркинда»
это является отражением степени «профильности» экзаменационного
предмета. При работе с абсолютными оценками
эксперты назначают веса самостоятельно. Желательно, чтобы их сумма в рамках
каждой группы критериев на каждом уровне иерархии равнялась 1.0, хотя можно
этого и не требовать (в этом случае группа информационно-аналитического
сопровождения должна отнормировать полученные веса к
сумме=1 самостоятельно).
Главное здесь следующее. Если посмотреть
на формулу взвешенного суммирования, то станет очевидной ошибочность традиционного
словосочетания «относительная значимость критерия. В формуле взвешиваются не
критерии (словесные формулировки), а назначенные экспертами оценки по критериям.
Отсюда следует, что:
·
весовые коэффициенты могут обоснованно
назначаться только после завершения оценки всех заявок по данной группе критериев
в иерархии критериев;
·
весовые коэффициенты должны назначать
те же самые эксперты, которые давали оценки заявкам по этим критериям.
ВНИМАНИЕ! В
публикации КТ последняя фраза попала по моему недосмотру. Она была написана для
конкретного заказчика и учитывала особенности его конкретной организации
экспертизы. В общем случае это положение является неправильным. Текст этого дефиса следует заменить на следующий: «весовые
коэффициенты должны назначать эксперты, ответственные за формирование
обобщенной оценки по данной группе критериев в иерархии критериев (в простейшем
случае это руководитель подгруппы экспертов, ответственных за оценку по данной
группе критериев, но для повышения надежности здесь дополнительно может быть
привлечено несколько дополнительных экспертов более высокого уровня иерархии)».
4.5. Формирование
итоговых
оценок и рекомендаций Госзаказчику.
После сбора и обобщения мнений экспертов
группа информационно-методического и программно-технологического обеспечения
работы экспертов представляет результаты обработки, а также оценки степени
согласованности мнений экспертов Экспертному совету для окончательной корректировки
и утверждения.
При
формировании итоговых оценок и рекомендаций Конкурсной комиссии по выбору Поставщика
для заключения государственного контракта, прежде всего по каждому лоту
предпринимается попытка выявить наилучшую конкурсную заявку в результате доминантного
(Паретовского) анализа экспертных оценок всех заявок
по всем техническим, экономическим и юридическим критериям.
В качестве дополнительного средства анализа конкурсных проектов может использоваться
доминантный анализ на подмножестве критериев, признанных Экспертным советом
наиболее существенными (приоритетными).
После проведения доминантного анализа
на основе оценок заявок экспертами по всем оценочным критериям Экспертным
советом должны быть получены и
утверждены итоговые количественные экспертные оценки по техническим,
экономическим и юридическим критериям по каждой из конкурсных заявок по каждому
лоту.
При значительном числе оцениваемых заявок
по решению Экспертного совета вычисление итоговых оценок по доминируемым
заявкам может не производиться.
Экспертный совет формируют свои рекомендации
по выбору лучшей заявки на основе рассмотрения анализируемых заявок в виде
точек на плоскости "Итоговая неценовая предпочтительность (ось Y)
— Итоговая ценовая предпочтительность (ось Х)". Это обусловлено тем, что сложение
ценовых и неценовых оценок является одной из грубейших методологических ошибок.
Оценки итоговой неценовой предпочтительности можно формировать путем
суммирования итоговых технических и итоговых юридических экспертных оценок
(технические оценки обычно на данном этапе экспертизы гораздо более значимы —
все зависит от конкретных предложений участников конкурса). Обычно гораздо
более предпочтительно на оси Х в качестве итоговых экспертных оценок ценовой
предпочтительности заявок показывать приведенные к единому базису оценки и
дисконтированные цены заявок по данному лоту. Здесь все зависит от того, что
смогут насчитать экономисты. В конце концов, можно просто обойтись итоговыми
ценами заявок.
Характер расположения этих точек на
плоскости позволяет существенно облегчить выбор наилучшей заявки по наиболее приемлемому
для Конкурсной комиссии соотношению ожидаемых выгод и издержек.
С позиций обеспечения интересов Заказчика
Экспертный совет теоретически мог бы вместе с результатами экспертизы заявок
рекомендовать Конкурсной комиссии конкретные организационные и технические
решения по совершенствованию и удешевлению конкретных конкурсных заявок для
использования в предконтрактных переговорах с
победителями конкурса. Однако в явном виде это делать недопустимо, поскольку с
позиций гражданского законодательства РФ конкурсная заявка есть оферта, а
акцепт оферты должен быть безусловным. Это означает, что у Заказчика на предконтрактных переговорах не будет правовых оснований
требовать внесения изменений в конкурсную заявку, а тем более — обуславливать
признание заявки победившей выполнением каких-либо неоговоренных в конкурсной
документации или в данной конкурсной заявке условий.
В итоге Экспертный совет формирует Заключение,
содержащее многокритериальную экспертную оценку неценовой и ценовой предпочтительности
конкурсных предложений Поставщиков, а также рекомендации Госзаказчику
по выбору победителя (или победителей) конкурса для проведения переговоров о
заключении госконтракта.
Д.А.
Абдрахимов, к.т.н.
© Дамир Абдрахимов, к.т.н.