11.3. Задачи при создании системы распознавания
В процессе создания и использования систем распознавания возникает необходимость решения ряда проблемных вопросов, которые можно представить в виде совокупности задач. В зависимости от специфики системы распознавания указанная совокупность задач может иметь различную структуру, то есть в состав решаемых задач в конкретном случае могут включаться определенные задачи из общего перечня возможных. Девять основных задач, решаемых в процессе разработки систем распознавания, сформулированы и рассмотрены в [3]. Однако, с позиций системного подхода перечень задач, решаемых в общем случае в процессе разработки и эксплуатации распознающей системы может быть расширен, например, до пятнадцати. Такой вариант состава задач приведен на рис. 11.4. Рассмотрим сущность и содержание каждой из них. Одной из основных задач, решаемых при создании и эксплуатации системы распознавания является выделение из среды субъекта распознавания – команды специалистов, осуществляющих ее разработку, изготовление и эксплуатацию. В состав команды, кроме ее руководителя (руководящего органа), следует включать специалистов, владеющих сущностью предметной области, для которой разрабатывается распознающая система, владеющих теорией и практикой разработки и построения систем распознавания, к которым можно отнести постановщиков задач, проектировщиков основных блоков распознающей системы, входящих в ее структуру, разработчиков технического, математического, программного, информационного и других необходимых видов обеспечения, требуемых при разработке и изготовлении конкретной распознающей системы, а также специалистов, которые будут задействованы на этапе эксплуатации системы распознавания как для ее обслуживания, так и для участия в подготовке, получении, оценке промежуточных и окончательных результатов распознавания.
Рис. 11.4. Совокупность задач распознающей системы
Второй задачей является установление назначения процесса распознавания. В ходе решения этой задачи надо дать описание сущности, актуальности процесса распознавания элементов среды, условий, в которых возникла необходимость применения распознавания, причин, периодичности ее возникновения, срочности получения выходных результатов, направлений использования результатов распознавания. При этом следует ответить на вопросы: Что? С какими целями (для чего) надо распознавать? Где находятся опознаваемые элементы (описать место, предметную область среды)? При каких условиях? Почему? Когда? Как быстро надо осуществлять распознавание? Кто? Как намерен использовать результаты распознавания? Ответы должны быть полными, точными, иметь аналитический характер.
Третья задача заключается в формулировании целей создания и использования системы распознавания. Цели должны выражать желаемое состояние результатов создания и работы системы распознавания. Формулирование целей распознавания следует обязательно выполнять как для этапа создания распознающей системы, независимо оттого, является ли она самостоятельной или составной частью сложной системы, так и для этапа функционирования. Необходимость формулирования целей обуславливается следующим. Выполнение целеполагания на этапе создания системы распознавания обеспечивает основу для организации управления стадиями ее создания, что способствует эффективному использованию ресурсов, задействованных при разработке и построении распознающей системы, сокращению сроков ее создания. Наличие целей, характеризующих результаты работы распознающей системы, с одной стороны обуславливает поиск адекватных решений на этапе создания системы распознавания, обеспечивающих их эффективное достижение на этапе функционирования, а с другой стороны – возможность организации управления процессом распознавания и оценки результатов распознавания на этапе ее функционирования. Формулируемые цели могут быть разнохарактерными. Например, отражать научную, техническую, производственную, технологическую, экономическую и т. п. сущности системы распознавания и распознаваемых элементов среды.
Цели должны быть упорядоченными и ориентированными во времени, конкретными и измеримыми, достижимыми и реальными, взаимоподдерживающими. Рекомендуется устанавливать критерии и показатели степени достижения целей. Критерии определяют различные аспекты достижения целей. Их формулировка должна давать ответ на вопрос: Что означает достижение целей? Для одной цели можно сформулировать ряд критериев ее достижения. Показатели степени достижения целей – это меры текущих значений величин, определяемых критериями достижения целей, характеризующие конкретные моменты в процессе реализации целей, позволяющие судить об уровне достижения целей в эти моменты времени. Цели должны формулироваться четко, иметь повелительный характер и выражаться в компактной форме.
Четвертая задача состоит в выделении из среды предполагаемых к распознаванию элементов. Элементы окружающей среды должны быть подвергнуты фильтрации на предмет выявления из среды «своих» для распознающей системы элементов. Под фильтрацией понимается процесс установления разновидности элементов, включаемых во множество распознаваемых данной системой распознавания. В результате выполнения этой задачи должна быть установлена совокупность элементов – кандидатов на опознавание. Причем, она решается как на этапе проектирования, так и в процессе функционирования созданной системы распознавания. На этапе разработки определяется множество как реально существующих, так и потенциально возможных в будущем элементов – кандидатов на опознавание. В процессе функционирования осуществляется установление принадлежности поступившего на вход системы распознавания неопознанного элемента среды к множеству элементов – кандидатов на опознавание, сформированному на этапе разработки.
Пятой задачей является определение принципа опознавания. В результате решения этой задачи происходит выработка информации о способе осуществления разбиения множества элементов-кандидатов опознавания на определенные классы.
Основой для генерации принципа опознавания служат цели создания распознающей системы, ее назначение. Анализируя ответы на вопросы, полученные в результате решения второй задачи (Для чего необходимо решение задачи распознавания? Кто и как намерен использовать результаты распознавания?), следует путем логического мышления и (или) интуиции найти ответ на вопрос: Как следует проводить разбиение на классы, поступающие на вход распознающей системы элементы среды? Например, для распознающей системы, включаемой в систему организационного управления, обычно в виде принципа опознавания рекомендуется принимать информацию о мощности множества решений и разновидностях элементов, принадлежащих этому множеству, принимаемых управляющей системой на основе результатов распознавания. В качестве принципа опознавания может также приниматься информация о множестве возможных стратегий поведения потребителя результатов распознавания, сведения о совокупности свойств или свойстве распознаваемых элементов среды (например, коллекционер почтовых марок может отнести в первом случае к разным разделам марки по тематике Великой Отечественной войны 1941 – 1945 гг. и Отечественной войны 1812 г., а во втором – к одному) и т. д.
В шестой задаче осуществляется получение информации об элементах среды, принадлежащих множеству элементов - кандидатов на опознавание, с целью определения на этапе разработки системы распознавания алфавита классов, состава словаря признаков распознаваемых элементов и их конкретных значений, а на этапе эксплуатации – лишь значений признаков, входящих в словарь, характеризующих неопознанные элементы среды, поступающие на вход распознающей системы. Изучение множества элементов – кандидатов на опознавание следует проводить с учетом поставленных целей, установленного принципа опознавания, специфики предметной области, к которой принадлежат рассматриваемые элементы, с применением различных методов и технических средств. В этом случае важно выявить сходные характеристики и отличительные особенности рассматриваемой совокупности элементов.
Целью седьмой задачи является разработка алфавита классов системы распознавания. На основании целей, назначения распознающей системы, установленного принципа опознавания, информации об элементах среды – кандидатах на опознавание необходимо определить состав классов системы распознавания. Решение задач с седьмой по двенадцатую, как правило, имеет итерационный характер. Вначале состав классов распознающей системы формируют адекватно множеству возможных решений (стратегий поведения), совокупности свойств или свойству распознаваемых элементов и т. д., установленных принципом опознавания в качестве способа осуществления разбиения элементов среды на классы. То есть каждому элементу указанного множества соответственно назначается конкретный класс, имеющий собственное название, и формируется дополнительный класс, который может именоваться «Неопознанный элемент среды», «Не принимать никаких решений» и т. п., необходимый для логического завершения работы системы распознавания при опознавании неизвестных элементов среды на этапе ее функционирования. Сформированный указанным способом состав классов распознающей системы называют априорным составом или априорным алфавитом классов. В результате итераций, вызванных необходимостью нахождения приемлемого решения для совокупности задач с седьмой по двенадцатую, априорный алфавит классов трансформируется (путем сужения, расширения состава классов) в окончательный вариант разбиения множества элементов – кандидатов на опознавание на классы, который называют рабочий алфавит классов. В случае разработки системы распознавания с самообучением, вместо приведенного порядка разработки алфавита классов в алгоритм самообучения встраивается некоторый набор правил, позволяющий распознающей системе самостоятельно выработать алфавит классов и пользоваться им в дальнейшем.
Восьмой задачей является разработка состава признаков, характеризующих элементы – кандидаты на опознавание, их характеристик, то есть создание словаря признаков распознающей системы. При этом приходится найти ответы на вопросы: Какие входные данные об элементах – кандидатах на опознавание можно считать значимыми и как следует обработать исходные данные, чтобы получить информацию об отличительных и общих свойствах распознаваемых элементов среды, то есть, так называемых, «параметрах» или «признаках», позволяющих осуществить отнесение неизвестного элемента среды к определенному классу? Создание рабочего словаря признаков распознающей системы, аналогично предыдущей задаче – разработке рабочего алфавита классов, имеет итерационный характер. Вначале необходимо определить по возможности наиболее полный перечень признаков, в той или иной степени характеризующих распознаваемые элементы среды. Затем следует проанализировать полученный состав признаков на предмет возможности их использования для выполнения описания классов на языке признаков и возможности технической реализации получения информации о них в процессе функционирования распознающей системы. Отвечающие указанным требованиям признаки включаются в состав, так называемого, априорного словаря признаков. Разработанный таким образом априорный словарь признаков используется для предварительного описания классов на языке признаков и разработки алгоритмов распознавания. Затем на основании реально располагаемых ресурсов оценивается возможность технической реализации получения информации о всех признаках априорного словаря на этапе функционирования системы распознавания. Если такая возможность существует, то состав априорного словаря автоматически трансформируется в рабочий словарь признаков. Иначе, с учетом информативности каждого признака и величин ограниченных располагаемых ресурсов на техническую реализацию получения информации о признаках распознаваемых элементов среды, а также критериев эффективности функционирования системы распознавания, циклически осуществляется сужение состава априорного словаря признаков (т. е. трансформация его в рабочий словарь признаков) с изменением описания классов на языке признаков, алгоритмов распознавания, а при необходимости и сужедие алфавита классов распознающей системы, до тех пор, пока не будет получен желаемый компромисс.
Все признаки, включенные в словарь признаков, можно подразделить на детерминированные, логические, вероятностные и структурные [3].
Детерминированные признаки – это признаки, характеризующиеся принимаемыми дискретными значениями на числовых осях в количественных шкалах измерения. Например, к ним относятся признаки, характеризующие весо-габаритные параметры элементов среды. Например, масса, вес, длина, ширина, высота и т. п., измеренные в шкале отношений. Если исследуемый элемент среды можно описать набором k детерминированных признаков, то можно задать k-мерное векторное пространство, каждая координата которого отражает числовое значение одного из признаков, – признаковое пространство, в котором элемент среды можно отобразить в виде точки.
Логические признаки представляют собой оценки установленных фактов относительно идентифицируемых свойств распознаваемых элементов среды. Они могут принимать два значения истинности: вида «да» («истина»), которому, например, соответствует значение числа единица, если идентифицируемый признаком факт установлен, и вида «нет» («ложь»), которому может соответствовать значение числа нуль, если идентифицируемый признаком факт не установлен. К логическим относятся признаки, характеризующие качественные свойства распознаваемых элементов среды, а также признаки, характеризующие не количественные значения идентифицируемых свойств распознаваемых элементов среды, а лишь факт их принадлежности к определенному заданному интервалу. При этом, появление различных количественных значений идентифицируемых свойств распознаваемых элементов среды в установленных интервалах, считается равновероятным. К первому типу логических признаков, характеризующих, например, проблемные ситуации, требующие распознавания, в системе внутрисменного управления гибким автоматизированным механообрабатывающим производством, можно отнести:
А – отсутствие материала (заготовок) для изготовления запланированной сменным заданием партии
деталей,
В – необеспеченность запланированной сменным заданием работы вспомагательными ресурсами
(инструментом, оснасткой и т. п.), С – наличие указания мастера о снятии работы с рабочего
места и т. п.
Ко второму типу логических признаков, характеризующих указанные выше проблемные ситуации, можно отнести:
К – уменьшение фонда времени рабочего места, задействованного в выполнении сменного задания,
на величину, превышающую допустимую,
X – снижение производительности рабочего места
ниже допустимой и т. п.
Вероятностные признаки – это признаки, имеющие по тем или иным причинам стохастический (случайный) характер. Случайные значения вероятностных признаков распределены по всем классам рабочего (априорного) алфавита классов распознающей системы. Ошибки измерений числовых значений признаков распознаваемых элементов среды могут приводить к неопределенности результатов измерения и, как следствие этого, приходится иметь дело с вероятностными признаками. Вероятностный характер признаков может так же обуславливаться нестационарностью объектов распознавания, например, по причине случайных изменений, происходящих в объектах распознавания.
Структурные признаки, называемые так же лингвистическими, синтаксическими, представляют собой непроизводные элементы (символы) структуры объекта, конгломераты непроизводных элементов и их отношения. Описание образов распознаваемых элементов среды можно осуществить на некотором «языке непроизводных элементов и их отношений». Правила составления образов на этом языке называют грамматикой. Существует множество различных типов грамматик, применяемых для описания структуры образов распознаваемых элементов среды. При этом, распознаваемый элемент среды представляется в виде совокупности символов принятой грамматики, т.е. предложения. На этапе функционирования системы распознавания по составленному предложению распознаваемого образа устанавливается его принадлежность к образам, задаваемым соответствующей грамматикой. Структурные признаки применяют при распознавании символов, идентификации отпечатков пальцев, обнаружении дефектов деталей, узлов машин и механизмов и т. д.
В девятой задаче выполняется описание классов на языке признаков. Суть этой задачи состоит в нахождении решающих границ, позволяющих выделить в признаковом пространстве области однозначно соответствующие классам, включенным в алфавит классов распознающей системы. Геометрическая трактовка этой задачи выглядит следующим образом [3]. Отобразим исследуемые элементы среды в виде точек k-мерного векторного пространства, образованного на основе k признаков, включенных в словарь признаков распознающей системы, т. е. в виде точек признакового пространства. Пусть выполнено в разбиение совокупности распознаваемых элементов среды на классы . Требуется в признаковом пространстве выделить такие областикоторые были бы эквивалентны классамТо есть, чтобы имела место следующая зависимость: если исследуемый элемент среды, имеющий признакиотносится к классу, то отображающая его в признаковом пространстве точка принадлежит областиДi. Имеется и алгебраическая трактовка данной задачи. В k-мерном признаковом пространстве необходимо найти разделяющие функции каждая из которых для признаков соответствующих элементов среды, относящихся к определенному классуимела бы наибольшее значение.
Если через обозначить вектор признаков элемента среды, относящегося к классу, то для всех возможных значений векторасправедливо:
Следовательно, в признаковом пространстве распознающей системы граница разбиений, называемая решающей границей между областями Д;, соответствующих классам , выражается уравнением:
Пример разбиения двумерного признакового пространства на области , соответствующие классамприведен на рис. 11.5 (стр. 262).
Рис. 11.5. Схема разбиения двумерного признакового пространства на области
Для решения задачи описания классов на языке признаков в зависимости от уровня полноты исходной информации можно использовать методы непосредственной обработки исходных данных в условиях полной определенности, обучения или самообучения в условиях неопределенности.
Описаниями классов элементов среды на языке детерминированных признаков являются их эталоны, представляющие собой множества равноудаленных точек отточек, описывающих элементы среды, относящиеся к конкретным классам алфавита классов распознающей системы.
Описаниями классов элементов среды на языке логических признаков являются установленные зависимости между признаками А, В, С ... и классами , выраженные на языке алгебры логики (булевых соотношений).
Для описания классов элементов среды, имеющих вероятностное распределение по областям Дik-мерного признакового пространства для всех значении на языке вероятностных признаков необходимо установить характеристики этих распределений, а именно: функции плотности вероятностизначений параметровпри условии, что элементы среды принадлежат классу, а также априорные вероятностипринадлежности элемента среды, случайным образом выбранного из общей совокупности, к классу
Для описания классов элементов среды на языке структурных признаков используются специально создаваемые языки, состоящие из предложений, каждое из которых характеризует структурные особенности элементов среды, относящихся к тому или другому классу распознающей системы.
Целью десятой задачи является разработка алгоритмов распознавания, осуществляющих отнесение исследуемого элемента среды к определенному классу или некой их совокупности. Если исследуемые элементы среды можно отобразить в виде точек k-мерного признакового пространства распознающей системы и ввести понятие расстояния (эвклидова, махаланобисова и т.д.), то точки, расположенные на небольшом расстоянии друг от друга (находящиеся вблизи), можно считать сходными, а соответствующие им элементы среды – принадлежащими одному определенному классу, тогда как точки, разделенные значительным расстоянием (находящимися вдали друг от друга), – различными, а соответствующие им элементы среды – принадлежащими разным классам распознающей системы. Эта идея закладывается в разработку различных алгоритмов распознавания принадлежности исследуемых элементов среды к тем или иным классам базирующихся на сравнении выбранной меры близости (меры сходства) L исследуемого элемента среды w со всеми классами установленного алфавита классов системы распознавания. Решение о принадлежности исследуемого элемента среды ω к определенному классу принимается из условия его наибольшей близости к этому классу:
В качестве меры близости в алгоритмах, работающих с детерминированными признаками, например, часто принимается среднеквадратичное- расстояние между исследуемым элементом среды ω и совокупностью элементов , относящихся к классу:
В качестве меры близости в алгоритмах, работающих с вероятностными признаками, принимается риск принятия решения о принадлежности исследуемого элемента среды к определенному классу алфавита классов системы распознавания.
В алгоритмах, работающих с логическими признаками, мера близости не применяется. В них осуществляется подстановка конкретных значений признаков, характеризующих исследуемый объект, в описание классов на языке логических признаков, выполненное в виде булевых соотношений, дающая однозначный ответ, к какому классу принадлежит распознаваемый элемент среды, или указанный ответ можно получить решив соответствующие алгебраические уравнения, описывающие классы на языке логических признаков.
В алгоритмах, работающих со структурными (лингвистическими) признаками, распознавание исследуемого элемента среды осуществляется на основе идентификации предложения, описывающего этот объект, с одним из предложений, характеризующим структурные особенности распознаваемых элементов, относящемуся к тому или другому классу системы распознавания.
Решение одиннадцатой задачи обеспечивает выбор или (и) создание технических средств получения информации для установления значений признаков, включенных в словарь признаков распознающей системы и обеспечения ее функционирования. В виду большого многообразия предметных областей для распознавания создание и функционирование систем распознавания требует применения множества разнообразных технических средств измерения, наблюдения, регистрации, преобразования, обработки, передачи данных. При этом, применяются как стандартные, так и специально создаваемые технические средства. Затраты на приобретение и создание технических средств, необходимых для реализации процесса распознавания на основе априорных алфавита классов и словаря признаков, часто превышают величины реально располагаемых ресурсов. В этих случаях приходится искать компромисс между идеальным с точки зрения достижения целей распознавания вариантом процесса распознавания и реально возможным в условиях имеющихся ограничений. За сокращение затрат приходится расплачиваться снижением эффективности результатов идеального процесса распознавания. Как правило, существует множество путей перехода от идеального к реально возможным вариантам процесса распознавания, т.е. эту проблему можно рассматривать как многовариантную задачу. Математическая постановка указанной задачи и методология ее решения приведена в [4]. Нахождение рационального (оптимального) варианта базовых характеристик процесса распознавания (рабочего алфавита классов, рабочего словаря признаков, окончательных вариантов описания классов на языке признаков и алгоритмов распознавания, и т. д.), а также состава технических средств возлагается на субъекта распознавания создаваемой распознающей системы.
Двенадцатая задача обеспечивает разработку рациональной (оптимальной) структуры распознающей системы и алгоритма эффективного управления процессом распознавания. Сущность этой задачи заключается в разработке решений конструктивно-технологического, организационно-технического, производственного, социально-экономического характера, направленных на материализацию проектных решений создаваемой системы распознавания. Значимость этой задачи возрастает по мере роста сложности распознающих систем. Формирование структуры распознающей системы и разработку алгоритма управления процессом распознавания следует рассматривать как многовариантные оптимизационные задачи. Постановка и решение указанных задач возлагается на субъекта распознавания. Критериями качества решения указанных задач, например, могут быть длительность времени процесса распознавания, затраты, связанные с процессом распознавания, достоверность результатов распознавания и т. п.
Тринадцатая задача состоит в оценке результатов распознавания на основе установленных показателей эффективности. В зависимости от назначения системы распознавания, реализуемых ею целей устанавливаются показатели качества (эффективности) ее функционирования, например, такие как вероятность правильных решений, средняя продолжительность распознавания, затраты на получение апостериорной информации, и т. д. Оценка результатов распознавания осуществляется на основе анализа конкретных данных, полученных как результат экспериментов или моделирования работы распознающей системы или реально действующей системы распознавания, на предмет определения степени достижения установленных показателей качества.
Четырнадцатая задача реализует представление информации о результатах распознавания в среду. Результаты распознавания следует представлять в среду с учетом требований, предъявляемых получателем к форме, содержанию, регламенту, способу и т. п. представления. В этой задаче должна быть реализована разработка интерфейса, связывающего систему распознавания со средой. Указанная работа выполняется разработчиками распознающей системы. С учетом большого разнообразия разрабатываемых распознающих систем при решении данной задачи рекомендуется по возможности пользоваться типовыми модулями и решениями.
Пятнадцатая задача обепечивает поддержание системы распознавания в работоспособном состоянии в процессе эксплуатации. Для этого должна быть разработана и реализована система технического обслуживания системы распознавания, осуществляющая функции контроля состояния ее функционирования, предупреждения влияния возмущающих воздействий, анализа возникающих отклонений и своевременное принятие мер по восстановлению ее работоспособности.
- «Мати» – Российский государственный технологический университет им. К.Э. Циолковского
- В.В. Мыльника
- Предисловие
- Часть I. Основы построения и финансирования систем управления Глава 1. Системы и их Закономерности
- 1.1. Системы
- 1.2. Классификация систем и их характеристика
- 1.3. Основные закономерности сметем
- Литература
- Глава 2. Управление и кибернетика
- 2.1. Управление
- 2.2. Кибернетика и ее принципы
- 2.3. Производственная организация как кибернетическая система
- Литература
- Глава 3. Автоматизация управления
- 3.1. Основные направления автоматизации управления
- 3.2. Классификация аису
- 3.3. Структурное построение иаису
- 3.4. Общесистемные принципы создания иаису
- 3.5. Методы синтеза структуры иаису
- 3.6. Цели и критерии эффективности систем управления
- Глава 4. Методология разработки систем управления
- 4.1. Организация разработки систем управления
- Взаимосвязь отдельных фаз инвестиционного проекта с сетевым графиком создания системы управления
- 4.2. Инвестиционный цикл проекта и его структура
- Литература
- Глава 5. Источники и методы финансирования систем управления
- 5.1. Источники финансирования
- 5.2. Основные методы финансирования
- Литература
- Глава 6. Методологические основы принятия решений
- 6.1. Сущность принятия решений
- 6.2. Классификация управленческих решений
- 6.3. Постановка задачи принятия управленческих решений
- 6.4. Модель процесса принятия и реализации управленческих решений
- 6.5. Человеческий фактор в принятии и реализации уоравленческих решений
- Литература
- Часть II. Методы исследования и оценки эффективности систем управления Глава 7. Системный анализ
- 7.1. Предмет системного анализа
- 7.2. Процедуры системного анализа
- 7.3. Разработка, построение и исследование моделей
- Литература
- Глава 8. Исследование операций
- 8.1. Вводные понятия
- 8.2. Методы безусловной и условной оптимизации
- 8.3. Корреляционный и регрессионный анализ
- 8.4. Робастные методы и процедуры
- 8.5. Выводы по анализу применяемых методов
- Литература
- Глава 9. Имитационное моделирование
- 9.1. Понятие об имитационном моделировании
- 9.2. Имитация функционирования систем с дискретными событиями
- 9.3. Методы имитации случайных факторов
- Глава 10. Планирование экспериментов
- 10.1. Полный факторный эксперимент и дробные реплики
- Полный факторный эксперимент для двух независимых переменных, варьируемых на двух уровнях (планирование типа 22)
- Полный факторный эксперимент для двух независимых переменных, варьируемых на двух уровнях (планирование типа 23)
- Первая полуреплика от полного факторного эксперимента типа 23 (планирование типа 23-1)
- Вторая полуреплика от полного факторного эксперимента типа 23 (планирование типа 23-1)
- 10.2. Поиск области оптимума
- Глава 11. Распознавание объектов, явлений и ситуации
- 11.1. Сущность процесса распознавания
- 11.2. Системы распознавания и их классификация
- 11.3. Задачи при создании системы распознавания
- 11.4. Математические методы распознавания
- Глава 12. «Черный» и «белый» ящики как научные методы
- 12.1. Понятие «черного» и квелого» ящика
- 12.2. Исследование поведения «черного» ящика
- Глава 13. Экспертные оценки
- 13.1. Сущность метода экспертных оценок
- 13.2. Подбор экспертов
- 13.3. Методы проведения опроса экспертов
- 13.4. Обработка экспертных оценок
- Анализ оценки относительной важности влияния I-X локальных аису на статьи затрат себестоимости продукции
- Мнение экспертов источников аргументации
- Литература
- Глава 14. Оценка эффективности систем управления
- 14.1. Эффективность инвестиций в системы управления
- 14.2. Методы оценки эффективности систем управления
- 14.3. Статические методы
- 14.4. Дисконтирование потоков денежных ресурсов
- 14.6. Динамические методы
- 14.6. Определение затрат на создание и эксплуатацию систем управления
- 14.7. Факторы и источники формирования социально-экономических результатов
- 14.8. Оценка социально-экономических результатов
- 14.9. Учет инфляционных процессов
- 14.10. Учет неопределенности и рисков
- Литература
- Глоссарий
- Содержание