Страница 4: ДСТУ ISO/IEC TR 15504-4-2002. Інформаційні технології. Оцінювання процесів життєвого циклу програмних засобів. Частина 4. Настанови з виконання оцінювання (61492)

Документований процес оцінювання повинен визначити механізми для:

• валідації рейтингів, наданих оцінюваним процесам;

• протоколювання рейтингів для всіх оцінюваних процесів, гарантуючи, що кожен запис рейтингу може бути однозначно ототожнений з процесом, якому він належить.

Документований процес оцінювання повинен визначити механізми для відображення профілів процесу у форми, які дають змогу безпосередньо інтерпретувати їхній зміст та значення. Це забез­печить відображення сукупності рейтингів.

Щоб забезпечити підставу для повторюваності оцінювань, для підтримки судження оціню­вача у разі визначання рейтингів атрибутів процесу в ході оцінювання потрібно використову­вати визначену множину показників оцінювання із сумісної моделі(ей)

(ISO/IEC TR 15504-3, 4.4.2 d2)

Вимоги до розробляння сумісної моделі гарантують, що показники можна простежити в тверд­женнях про призначеність процесу або в атрибутах процесу для еталонної моделі із ISO/IEC TR 15504-2. Хоча відомості про показники не є складником профілю процесу, вони надають суттєві свідчення, які підтримують судження оцінювачів відносно наданих рейтингів. Характеристики, визначені інформаційними показниками, забезпечують детальну реєстрацію того, що було вияв­лено в підрозділі організації. Таким чином, накопичена інформація є важливою як для оцінок експертів, так і для наступного аналізування та планування удосконалювання процесу. Настанови щодо показників наведені в додатку А.

Результати оцінювання, до яких належать принаймні дані, зазначені в підрозділі 4.5, по­трібно документувати та доповідати Ініціатору Оцінювання

(ISO/IEC TR 15504-3, 4.4.2 е)

Документований процес оцінювання повинен:

• забезпечувати механізми протоколювання інформації і (або) рейтингів, зв’язаних з показ­никами, визначеними у вибраній сумісній моделі;

• описувати формат подання результатів ініціаторові, оцінювачам, керівникам і т.ін., фор­мат презентації і (або) звіту;

• визначити, як потрібно зберігати протоколи, — вони можуть бути на паперових носіях або в електронному вигляді залежно від обставин та засобів, які використовувались під час оцінювання;

• забезпечити механізми протоколювання та зберігання вихідних даних оцінювання. Ці меха­нізми повинні гарантувати, що виконані всі вимоги щодо конфіденційності.

Документований процес оцінювання для кожного оцінювання може бути вибраний оцінювачем або може бути обумовлений ініціатором оцінювання (в цьому випадку його потрібно фіксувати як обмеження). У будь-якому випадку існують критерії, які сприятимуть гарантії того, що вибір відпо­відає наміченому використанню. Специфічні документовані процеси оцінювання можуть відпові­дати специфічним контекстам процесів, специфічним підходам до оцінювання і специфічним процесам. Усі ці чинники можуть впливати на рішення вибору специфічного документованого процесу оцінювання. Організації також можуть обмежуватися використанням специфічного доку­ментованого процесу оцінювання, якщо його обрано за стандарт для гарантії найефективнішого використання ресурсів.

Документований процес оцінювання повинен забезпечувати такі настанови та моделі, що допомагають в оцінці вимог до ресурсів, які необхідні для проведення оцінювання у визначеній сфері.

Документований процес оцінювання повинен гарантувати те, що кожна особа з певною роллю в оцінюванні досягне потрібної компетенції, наприклад, вимог відносно підготовленості та досвіду.

Переважне обговорення у разі вибору документованого процесу оцінювання буде присвячу­ватись тому, чи задовольняє він контекст та сферу оцінювання. На вибір впливають такі основні чинники:

• заплановане призначення оцінювання;

• запланована сфера оцінювання;

• вибраний підхід до оцінювання;

• контекст процесу для відібраних процесів.

Якщо існують такі документовані процеси оцінювання, що були спеціально розроблені для забезпечення особливих одного чи декількох підходів до оцінювання, то, за можливості, їх треба застосовувати. Крім того, великі організації можуть також обмежитися вибором таких документо­ваних процесів оцінювання, які охоплюють діапазон їхньої виробничої діяльності, щоб гарантува­ти узгодженість підходу, повторне використання результатів і т.ін. Відібраний процес оцінювання суттєво впливатиме на проведення оцінювання та його корисність для оцінюваного підрозділу організації. Повноважний оцінювач відіграє центральну роль в гарантуванні того, що буде досяг­нута мета оцінювання.

6.5 Роль повноважного оцінювача

Повноважний оцінювач несе відповідальність за гарантування того, що оцінювання досягне свого призначення і буде узгоджено з вимогами, викладеними в ISO/IEC TR 15504-2 і ISO/IEC TR 15504-3. Тому треба, щоб повноважний оцінювач вибрав відповідний документований процес оцінювання. Якщо документований процес оцінювання вибирається ініціатором оцінювання, то обов’язком повноважного оцінювача є забезпечити залучення компетентних оцінювачів або корис­тувачів.

7 ВИБІР ІНСТРУМЕНТІВ ТА ІНСТРУМЕНТАЛЬНИХ ЗАСОБІВ

За будь-якого оцінювання інформацію необхідно збирати, протоколювати, накопичувати, об'єднувати, порівнювати, аналізувати, відновлювати та представляти на розгляд. Інструменти та інструментальні засоби можуть надати цінну допомогу в упорядкуванні даних, використаних оцінювачем для надання рейтингів атрибутам процесу для кожного оцінюваного процесу, та в про­токолюванні рейтингів як множини профілів процесів.

Існують два основних типи інструментів, що мають різні характеристики, — ручні засоби на паперових носіях та автоматизовані комп'ютерні інструменти. Придатність інструмента залежить від запланованого методу застосування та методології оцінювання. Щоб забезпечити оптимальні дії (ефективність та продуктивність), інструменти та інструментальні засоби повинні відповідати процесу оцінювання.

Для підтримки оцінювання інструменти та інструментальні засоби можна використовувати по-різному. Прикладами способів використання в рамках оцінювання є:

• одержування оцінювачем інформації засобами, пов’язаними з паперовими носіями або з комп’ютерами;

• надання інформації власниками процесів і (або) представниками підрозділів організації під час підготовки та самого процесу оцінювання для подальшого обробляння інформації;

• способи, якими представники підрозділу організації безперервно протягом життєвого циклу програмних засобів в певних місцях контролю вимірюють дотримування процесу та зростання удосконалювання процесу або збирають інформацію, полегшуючи майбутнє оцінювання;

• способи відновлювання інформації після оцінювання або способи організації даних для полегшення процесу планування чи аналізу при визначанні потужності;

• поширений в кожній організації підхід до самооцінювання;

• накопичування відібраних робочих продуктів та інформації про процеси та їх перегляд перед оцінюванням для узгодження з діями щодо оцінювання, як наприклад, в інтерв’ю;

• надання допомоги оцінювачеві з обробки накопиченої інформації з оцінювання;

• зберігання та відновлення результатів оцінювання, що робить результати пристосованіши- ми для планування удосконалювання процесу або для аналізу щодо визначання потужності;

• надання допомоги оцінювачеві з аналізу результатів після оцінювання, наприклад, аналіз результатів удосконалювання процесу у порівнянні з попередньою діяльністю або профіль поста­чальника у порівнянні із заявленою метою профілю;

• накопичування інформації та спосіб поширювання, коли необхідно висхідним порядком збирати інформацію у контрольних точках перевірки виконання процесу або коли зростає кількість підрозділів організації, що потребують оцінювання;

• генерація остаточних профілів або необхідність у виконанні аналізу прорахунків прогно­зування.

Кваліфікація використання вибраних інструментів та інструментальних засобів є ключовою до того, щоб гарантувати накопичення, протоколювання, обробку та аналіз інформації надійним, відтворюваним та відповідним способом, Оцінювачі та інші учасники, хто використовуватиме інструменти та інструментальні засоби, повинні бути відповідно підготовлені та мати необхідний досвід застосування інструментів та інструментальних засобів. На додаток до кваліфікації в засто­суванні інструментів та інструментальних засобів навчання і (або) досвід повинні забезпечити належну теоретичну обізнаність з основних принципів, пов’язаних із моделлю оцінювання, показни­ками та рейтингами.

Специфічні інструментальні засоби можна описувати як складові документованого процесу оцінювання. Або ж потенційному користувачеві доведеться вибрати відповідний інструментальний засіб. Ці настанови містять деякі міркування щодо вибору інструментів та інструментальних засобів для застосування впродовж оцінювання. Хоча це не стосується таких загальних забезпечувальних інструментальних засобів, як текстові редактори, однак здатність оцінювальних інструментів та інструментальних засобів працювати сумісно один з іншим та сумісно із засобами редагування текстів і оформлення презентацій може значно допомоги в підготовці звітів та в поданні результатів оцінювання.

На вибір типу інструмента та інструментального засобу впливають:

• сфера та призначення оцінювання;

• засоби накопичування та зберігання інформації, зокрема перетворювання вхідних даних оцінювання та протоколювання їх у формі, пристосованій для викладення їх як результату оцінювання;

• придатність сумісної моделі оцінювання відносно визначеної множини показників, щонай­менше для сфери оцінювання;

• можливість одержати потрібну інформацію, необхідну для визначання рейтингів, як зазна­чено в ISO/IEC TR 15504-2;

• можливість отримувати та зберігати додаткову інформацію, як зазначено у вхідних даних оцінювання;

• забезпечення процесу одержання рейтингів та накопичування результатів відповідно до схеми рейтингів, як зазначено в ISO/IEC TR 15504-2;

• забезпечення відображення профілів процесів у формах, що дозволяють просто тлумачити їх зміст та значення;

• можливість зберігати та відновлювати результати оцінювання для подальшого викорис­тання в разі удосконалювання процесу або під час визначання потужності;

• забезпечення відповідного розшарування різних класів інформації та даних, щоб їх мож­на було використовувати різними шляхами;

• можливість надійно зберігати одержану інформацію, виконуючи вимоги конфіденційності;

• можливість динамічно змінювати межі сфери та пристосовуватись до специфічних умов удосконалювання, організаційних умов, умов ініціатора або потреб оцінювання;

• забезпечення відповідного керування конфігурацією інструментів та одержаних результатів;

• можливість поділятись між функціями процесу і задачі;

• можливість пристосовувати модель оцінювання до вимог;

• мобільність опитувань (пристосованість до інтерв’ю, розподіленого введення даних, одно­часного введення даних);

• можливість обробляти введення даних багатьма оцінювачами;

• пристосованість до інтерв’ю, самооцінювання;

• можливість працювати разом з іншими інструментальними засобами (метриками, CASE- інструментами і т. ін.);

• можливість підтримувати аудиторський доступ до вхідної інформації;

• робота в реальному часі: швидкість вводу та відновлення інформації;

• можливість звернення до методів, зумовлених специфічними інтерв’ю.

Настанови та стандарти щодо вибору автоматизованих інструментальних засобів наведені в стандартах ISO/IEC 12119 Information technology — Software Packages — Quality requirements and testing та ISO/IEC 14598 (all parts) Information technology — Software Product evaluation.

НАЦІОНАЛЬНЕ ПОЯСНЕННЯ

ISO/IEC 12119 Інформаційні технології. Пакети програм. Тестування і вимоги до якості ISO/IEC 14598 (всі частини) Інформаційні технології. Оцінювання програмної продукції

ДОДАТОК A
(довідковий)

НАСТАНОВИ ЩОДО ВИБОРУ ПОКАЗНИКІВ

А.1 Вступ

Еталонна модель в стандарті ISO/IEC TR 15504-2 визначена удвох вимірах: вимір процесу та вимір потужності процесу, що відповідно відрізняються за твердженнями щодо призначення процесу та атрибутів процесу. Призначеність процесу та атрибути процесу є критеріями, за якими виконують оцінювання.

Твердження про призначеність процесу та атрибути відображають ефективні методи, але для того, щоб зробити їх придатними до застосування для всіх програмних засобів і всіх галузей, їх визначають як абстрактні концепти високого рівня без обмеження способів їх можливого викорис­тання. Тому ці твердження про призначеність та атрибути можуть бути широко інтерпретовані, що може мати негативний вплив на відтворність та надійність результатів оцінювання.

Для зниження рівня суб'єктивності та відхилів в інтерпретації необхідно детально розробити сумісну модель оцінювання (розділ 7 в стандарті ISO/IEC TR 15504-2), використовуючи множину показників функціювання процесу, які пов’язані з призначенням процесу, та множину показників потужності процесу, пов'язаних із атрибутами процесу. Показники використовують протягом будь- якого оцінювання для забезпечення збору об’єктивних даних про досягнення окремого призна­чення процесу або атрибута процесу. Показники за термінологією не визначають вимоги до про­цесу. Вони визначають загальні початкові положення для оцінювання, які підвищують узгодженість суджень оцінювачів та покращують відтворюваність результатів. Оскільки організації застосовують для створення програмних засобів різні методи, то в деяких обставинах відсутність деяких показ­ників може бути несуттєвою.