У січні 2020 року Кабмін затвердив порядок, за яким у тестовому режимі буде моніторити і оцінювати голів ОДА та Київської і Севастопольської міських адміністрацій. Перевіряти kpi будуть кожного кварталу. Нашу команду особливо тішить, що серед показників моніторингу два стосуються публічних закупівель (показники 22 і 23).

Встановлення цих показників — дуже важливий крок для Уряду. Адже це початок шляху до вироблення нової методології оцінки ефективності закупівель. І, звісно, початок обговорень, а що ж таки варто вважати хорошою практикою та як її оцінити.

Команда DOZORRO ГО «Трансперенсі Інтернешнл Україна»  вже кілька років працює з даними Prozorro, шукає проблеми у закупівлях та готує рекомендації, щоб їх вирішити та зробити закупівлі ефективнішими. Тому ми не могли пройти повз нові індикатори та проаналізували методологію показників kpi у цій сфері. 

Показник «Вартість закупівель»

Згідно з Порядком, цей показник — це сума коштів за договорами, які уклала держадміністрація та замовники, що їй підпорядковані, наростаючим підсумком з початку року станом на останній день періоду. Тобто в першому кварталі, це буде сума n1, у другому n1 + n2 і т. д. 

Цей показник викликав кілька запитань. 

• Насамперед, яке його практичне застосування? Припустимо, є дві ОДА. В однієї витрати на закупівлі 4 млрд, в іншої — 12 млрд. Яка з них буде вважатися гіршою, а яка кращою? На яке значення показника потрібно орієнтуватись?
• Яку суму договору враховує показник: початкову чи на момент звіту? Фактично, це можуть бути досить різні суми, адже договори іноді розривають. 5,7 % договорів за відкритими торгами у 2019 році завершилися розірванням. Окрім розірвань, у договорах досить часто змінюють суму через додаткові угоди. 46% договорів за відкритими торгами у 2019 мали хоча б одну додаткову угоду.

Показник «Відкриті торги»

Цей показник у додатку до Порядку розділений на два підпункти: 

1) відкриті торги, що відбулися, — середня кількість учасників відкритих торгів.

2) відкриті торги, які оскаржені учасниками в Антимонопольному комітеті, — частка задоволених Антимонопольним комітетом скарг на відкриті торги.

Розглянемо кожен із них детальніше.

Середня кількість учасників

Теоретично, чим більше учасників, тим більший шанс досягнути максимально низької ціни на торгах. Однак, пропонований кабміном варіант цього показника має певний недолік — він враховує лише учасників на торгах, що відбулися, тобто завершилися підписанням договору. Проте не враховує торги, на які двічі не прийшли учасники і через це договір був підписаний за переговорною процедурою. 

Наприклад, у нас є два замовники. 

Замовник 1

Замовник 2

Згідно з методологією Кабміну, середня кількість учасників торгів Замовника 1 буде дорівнювати 10/1 = 10. У Замовника 2 середня кількість учасників буде  (10+6+4+6+4)/5 = 6. Тобто показник у Замовника 1 буде кращий, хоча він не зміг залучити достатньо учасників на 4 процедури, і за ними, ймовірно, доведеться укладати прямий договір. 

Щоб усунути цей недолік, під час розрахунку показника можна враховувати завершені переговорні процедури закупівель, оголошені через недостатню кількість учасників на відкритих торгах. Тоді середня кількість учасників для Замовнка 1 буде  (10 + 1 + 1 + 1 + 1)/5 = 2,8.

Інший варіант —  розраховувати середню кількість учасників на основі всіх відкритих торгів, за якими відома кількість учасників. 

Відсоток задоволених скарг

За методологією Кабміну цей показник розраховується як частка (відсоток) задоволених скарг від усіх поданих скарг у відкритих торгах. Напевно,  його розробляли, щоб вимірювати порушення в закупівлях. Однак, з цим завданням він не впорається, бо має низку серйозних недоліків.

Насамперед, цей показник не враховує скарг на переговорні процедури. Іноді замовники використовують переговорки неправомірно через брак знань, а іноді свідомо, щоб уникнути відкритих торгів. 

Окрім цього така методологія розрахунку показника не бере до уваги багатьох порушень. Адже серед усіх порушень, які насправді здійснюють на торгах, в руки АМКУ потрапляє лише невелика частка. Багато учасників бояться зіпсувати стосунки з замовником, тому не оскаржують порушень до АМКУ. Деяких відлякує необхідність платити за це. До того ж, на процедуру оскарження потрібно витратити час.

Ба більше, цей показник не враховує співвідношення кількості скарг до загальної кількості тендерів замовника. Тобто замовник, у якого більший відсоток незадоволених скарг, може отримати кращий показник, ніж той, у кого менший відсоток тендерів із порушеннями.

Наприклад, в одного замовника 100 тендерів і 1 скарга, яку задовольнили. А в іншого — 20 тендерів і 20 скарг (тобто скарга на кожен тендер), 10 з яких задоволені. Якщо рахувати за методологією, яку запропонував Кабмін, перший замовник отримає 100 %, а другий 50%. Хоча насправді у першого кожна сота процедура має підтверджене порушення, а у другого — кожна друга. 

Крім того, існує проблема з базою, від якої буде відштовхуватися розрахунок. Наприклад, можна  відмінити процедуру або виправити порушення до розгляду скарги АМКУ. Така скарга ніколи не відображатиметься як задоволена. 

Також знача частина скарг подана некоректно, або самі скаржники потім відкликають свої скарги (24% всіх скарг були відкликані або взагалі не прийняті до розгляду). У такому випадку всі ці несправжні скарги покращують показники для замовника. 

Якщо порахувати частку задоволених, вийде 100/500 * 100% = 20%.

Якщо не враховувати, скарги, що подані випадково, і враховувати скарги з високою і середньою ймовірністю порушення як порушення, тоді ми отримуємо 300/400 * 100% = 75%. 

Щоб цей показник краще відображав реальний рівень порушень, пропонуємо внести до нього кілька змін:

• Брати до уваги переговорні процедури.
• Розраховувати частку процедур з підтвердженими порушеннями від загальної кількості процедур замовника. До процедур із підтвердженими порушеннями також включати процедури, що були відмінені до рішення АМКУ або де порушення було усунуто Замовником.
• Враховувати порушення, які виявила Держаудитслужба. Це зменшить ризик того, що порушення не буде виявлено, тому що учасники з якихось причин вирішили не оскаржувати його в АМКУ. Наприклад, по надпорогових процедурах оголошених у 2019 році Держаудитслужба виявила порушень більше, ніж АМКУ (7177 тендерів проти 3765 тендерів)

Додаткові рекомендації

Ми впевнені, що вчасність закупівлі — це також важливий показник, який варто брати до уваги під час оцінки ефективності діяльності голів держадміністрацій. Адже закупівлю можна провести без порушень і з максимальною економію, але все одно не задовольнити потребу вчасно.

Для цього, наприклад, можна було б оцінювати відсоток неуспішних процедур. Кожна відмінена чи неуспішна процедура — це відстрочене укладання договору, початку поставок чи виконання робіт. А відповідно збільшення ризику не отримати заплановане вчасно. 

Водночас неуспішна процедура означає додаткові витрати часу тендерним комітетом чи уповноваженою особою. Також кожна відмінена чи неуспішна процедура — це додаткова ознака, що в інших процесах (як плануються кошти та потреби) є збій, і доводиться відміняти процедуру через відсутність фінансування чи зміну потреби. Ну і, звичайно, високий відсоток неуспішних процедур — це підозріло. Часто він свідчить про порушення. 

Підтримуючи ідею створення показників в цілому, ми рекомендуємо брати до уваги під час оцінювання усі методи закупівель, або принаймні всі надпорогові. Адже показники, запропоновані Кабміном не враховують конкурентних діалогів і із опису показників не зрозуміло чи враховують вони укладання рамкових угод. А це часто процедури на сотні мільйонів гривень кожна.

Окрім цього, варто подумати як брати до уваги сезонні коливання. Наприклад, у листопаді і грудні зазвичай проводять суттєво більше закупівель ніж в інші місці. Це може вплинути на об’єктивність вимірювання показників, які порівнюють з попереднім кварталом. 

Також у порядку прописано, що органи державної статистики, центральні органи виконавчої влади та місцеві держадміністрації будуть подавати до Секретаріату Кабінету Міністрів щокварталу інформацію за формою, що міститься у додатках порядку. 

Однак, для розрахунку показників по закупівлях набагато доцільніше брати ці дані напряму з системи Prozorro, або з аналітичних інструментів, що працюють на основі цих даних. Це не тільки зменшить навантаження на держслужбовців щодо ручного збору даних, а і зменшить йомвірність помилки під час обрахунку показників через випадкові або навмисні помилки у формах звітності. 

На жаль, поки показник «Вартість закупівель» неможливо автоматично розраховувати, оскільки частина закупівель не відображається у системі Prozorro. Однак, коли в дію вступить новий Закон «Про публічні закупівлі» і у системі будуть звіти про усі закупівлі від 1 грн, цей показник теж можна буде розрахувати автоматично.

Перевірити, як працює більшість із запропонованих вище показників і порівняти між собою за ними ОДА можна у нашому модулі аналітики BI Prozorro. Для цього потрібно:

1. Вибрати, що хочете порівнювати між собою головні органи.

2. У пошуку вибрати всі головні органи у яких зустрічається слово «ОДА».

Зауваження! Правильна структура замовників ОДА буде відображатись лише для тих ОДА, що надсилали нам свою актуальну структуру. 

Якщо вам потрібно створити власні показники, можна скористатися професійним модулем аналітики, що дозволяє швидко створювати показники і досліджувати їхню доцільність.

Загалом, команда DOZORRO ГО «Трансперенсі Інтернешнл Україна» із радістю долучиться до розробки показників ефективності роботи голів ОДА у сфері публічних закупівель. Також, ми вважаємо, що оцінку ефективності варто запровадити на національному рівні і для місцевих рад.