<<
>>

Предварительная обработка входных данных искусственными нейронными сетями при прогнозировании финансовых рынков с помощью метода главных компонент и метода независимых компонент

Искусственные нейронные сети представляют собой достаточно гибкие в построении модели, что обуславливает различные вариативные возможности по их оптимизации под конкретную задачу. Такие модификации, ориентированные на повышение эффективности работы сети, могут, в частности, включать эксперименты с архитектурой и типом обучения, а также обработку исходных

данных, которые предъявляются сети - именно этой теме в значительной теме и посвящена данная работа.

Вопрос обработки входных данных (не только в искусственных нейронных сетях, но и вообще в моделях поддержки принятия решений) важен потому, что при составлении прогнозов финансовым аналитикам приходится работать с огромными массивами информации.

Несмотря на очевидный прогресс в развитии информационных технологий, далеко не всегда в распоряжении исследователя есть вычислительные машины, способные в сжатые временные рамки обработать неограниченные объёмы информации. Ведь если подходить к анализу финансовых рынков с максималисткой позиции, то влияние на цену актива может оказать всё, что угодно. При этом уместно напомнить о возросшей взаимозависимости мировых экономических процессов в эпоху глобализации и известный «эффект бабочки» [144], когда незначительное событие может коренным и непредсказуемым образом повлиять на поведение всей динамической системы, к числу которых, безусловно, следует отнести финансовые рынки. С другой стороны, развитие постиндустриального общества порождает и негативные эффекты: сегодня информационные потоки содержат в себе значительную шумовую компоненту, то есть многие данные нерелеванты, несущественны, а иногда и вовсе оказываются «мусором».

Обнаружение важной информации в больших массивах данных активно изучается в последние годы и выделилось в отдельное научное направление - «глубинный анализ данных» (data mining) [79]. Широко используется этот подход и в нейросетевых моделях, разработанных для прогнозирования финансовых рынков [76, 199]. Таким образом, вопрос предварительной обработки входных данных нетривиален для финансового аналитика, и основная проблема здесь кроется в необходимости ориентации и сортировки больших массивов информации в зависимости от степени влияния на исследуемый процесс.

Существует большое количество способов предварительной обработки входных данных для модели в зависимости от стоящих перед искусственной нейронной сетью задач, в частности, нормализация, кластеризация данных,

генетические алгоритмы, авторегрессионное тестирование, корреляционный, фрактальный анализ, разложение в ряд Фурье и другие. Однако в рамках данной работы мы не будем делать подробный разбор инструментов предварительной обработки данных и их классификации, поскольку такой обзор может оказаться поверхностным. Напротив, мы изначально выберем общее направление обработки данных, а потом будем последовательно усложнять модели, модифицируя методологию и выстраивая иерархию полученных результатов для фондового и валютного рынков развитых стран. Впоследствии это позволит сделать выводы не только о практической применимости построенных моделей, но и о характеристиках самих финансовых рынков.

Имея в виду необходимость поиска наиболее значимой с точки зрения влияния на процесс ценообразования на финансовом рынке информации, в качестве инструментов предварительной обработки входных данных на данном этапе мы будем работать с методом главных и методом независимых компонент (В Главе 3 будет также применён метод кластеризации входных данных).

Отличительной особенностью этих двух методов является то, что они помогают разложить эмпирический процесс в новых базисных координатах, по которым можно впоследствии вычленить наиболее релевантную информацию об интересующем процессе.

Работая с методом главных и методов независимых компонент, мы будем сравнивать оба метода, что допустимо по причине их концептуальной близости. Подобные сопоставления можно обнаружить в научных работах, в основном, при оценке эффективности распознавания образов, в т.ч., и с задействованием искусственных нейронных сетей [41, 66, 70, 104], хотя есть и отдельные исследования в сфере финансового прогнозирования [55, 141].

Вначале мы коротко рассмотрим широко известный метод главных компонент (principal component analysis, PCA). Суть PCA заключается в нахождении собственных векторов и собственных значений ковариационной матрицы, полученной непосредственно из эмпирических данных об интересующем нас процессе [112]. В случае обработки финансовых рядов мы

можем с помощью метода главных компонент реконструировать исходный эмпирический вектор по новым координатным осям, которые задаются его ковариационной матрицей (8):

где X - исходный эмпирический вектор, Q - матрица, состоящая из собственных векторов ковариационной матрицы X, A - проекция X в новом пространстве.

Метод независимых компонент (independent component analysis, ICA) представляет собой боле молодое, нежели PCA, научное направление, однако ICA уже успел зарекомендовать себя, как эффективный аналитический инструмент (в частности, существуют исследования, которые свидетельствуют об эффективности данного метода при прогнозировании финансовых рядов [93, 145]), поэтому мы позволим разобрать этот метод более подробно в данной работе.

Анализ независимых компонент изначально развивался в радиофизике и тесно связан с т.н. задачей о «коктейльной вечеринке» (cocktail-party problem) [50]. Представим себе, что в комнате находится несколько говорящих людей - si, при этом их речь записывается несколькими микрофонами - xi (для простоты предположим, что число источников звука и число записывающих устройств одинаково). Очевидно, что запись каждого из микрофонов представляет собой смесь из голосов всех говорящих. Для двух говорящих сигнал из каждого микрофона будет выглядеть следующим образом (9):

где a11... a22- микширующие коэффициенты (веса).

Задача исследователя состоит в том, чтобы обрабатывая только лишь выходные сигналы из микрофонов x, получить исходные сигналы (векторы) s, которые и называются независимыми компонентами. Очевидно, что для этого необходимо знать микширующую матрицу A, которая выглядит как (10):

где i - число говорящих (исходных сигналов), j - число микрофонов (наблюдаемых сигналов), а - микширующие коэффициенты (веса).

Таким образом, матрица A трансформирует исходные векторы-сигналы в те, которые слышны на записи из микрофона (наблюдаемые) (11):

где s - вектор исходных сигналов, ах- вектор наблюдаемых (слышимых) сигналов.

Говоря точнее, нам необходима матрица W, обратная A (демикширующая матрица), так чтобы мы могли восстановить исходные векторы, имея лишь наблюдаемые (12):

Концептуально вышеописанную задачу можно интерпретировать следующим образом:

• Суммарная плотность вероятности процесса раскладывается на несколько безусловных вероятностей;

• Наблюдаемый процесс раскладывается на базисные независимые векторы[6], которые являются статистически независимыми. Пожалуй, это главное отличие данного метода от метода главных компонент, суть которого заключается в нахождении некоррелированных (но не независимых) векторов-координатных осей, вокруг которых разброс признака (дисперсия) максимален;

• Выявляются наиболее «интересные» направления развития процесса (направления, которые задают процессу определённую структуру), что тесно связано с теорией “нахождения проекции» (projection pursuit) [82] .

В этом смысле метод независимых компонент является развитием данного подхода.

Кроме этого, перед тем как перейти непосредственно к алгоритму вычисления независимых компонент и практическим способам его применения, необходимо упомянуть несколько важнейших условий и предпосылок данного вида анализа.

Во-первых, лишь одна из независимых компонент может иметь нормальное гауссовское распределение. Это так, потому что в случае гауссовского распределения, мы не сможем оценить микширующую матрицу A должным образом: она всегда будет симметричной, что не позволит нам найти «интересные» направления развития процесса. Следует отметить, что использование негауссовского распределения весьма ценно для финансового анализа, потому что, как было показано в Главе 1 , реальные рынки могут существенно отклоняться от нормального закона.

Во-вторых, поскольку мы не знаем ни исходных сигналов s, ни микширующей их матрицы А, мы не может оценить ни знак отдельных составляющих независимых компонент-векторов, ни их абсолютного значения, ни

их дисперсии. Это ещё одно важное отличие от метода главных компонент, потому что при выполнении PCA мы можем не только разложить процесс по новым базисным векторам, вдоль которых происходит максимальный разброс признака, но также ранжировать эти новые оси в зависимости от их информативности (величины собственных значений ковариационной матрицы). Мы будем учитывать эту важную особенность в ходе решения задачи снижения размерности в разделе 2.2.

При этом следует отметить, что наряду с интерпретацией данных, полученных в ходе ICA, существует также необходимость экономического обоснования результата. Иными словами, после того, как исследователь смог ранжировать независимые компоненты по степени их влияния на изучаемый процесс, он должен соотнести эти важные факторы с реально происходящими в экономике событиями, что открывает дальнейшую перспективу для научных изысканий, и может стать предметом отдельного исследования. Также следует учитывать, что с течением времени может меняться как количество ключевых факторов, определяющих развитие процесса, так и их качественный состав.

Далее мы переходим непосредственно к описанию процедуры поиска независимых компонент. Как было указано выше, важнейшей характеристикой ICA является негауссовское распределение. Существует несколько способов оценить его.

В данной работе мы будем оценивать «ненормальность» распределения путём максимизации нэгентропии, модифицированной версии относительной энтропии (расстояния) Кульбака-Ляйблера (Kullback-Leibler divergence) [128]. Относительная энтропия - это различие, или расстояние, между двумя случайными процессами (13):

где H - величина относительной энтропии, p(x) и p(x) - случайные процессы, λ - параметр, задающий пределы интегрирования.

Нэгентропия, в свою очередь, представляет собой разность энтропий двух переменных, одна из которых обладает нормальным распределением, с одинаковой ковариационной матрицей (14):

где J - величина нэгентропии, H - величина относительной энтропии, ygauss - переменная обладающая гауссовским распределением, y - переменная обладающая негауссовским распределением.

Данное выражение всегда неотрицательно, поскольку именно нормальное распределение обладает наибольшей энтропией. Соответственно, максимизируя нэгентропию, можно получить распределение, максимально отличное от нормального.

Для расчета нэгентропии мы будем пользоваться методом, предложенным в [108], и на его основе будем вычислять столбцы демикширующей матрицы W (15):

где w - столбец (вектор весов) демикширующей матрицы W из (12), начальные значения которого равны 1, x - эмпирический вектор[7], E - математическое ожидание, g - нелинейная функция преобразования (в нашем случае был

использован гиперболический тангенс из (7)), n - номер итерации, на которой проводятся вычисления.

Критерием остановки вычислений (числа итераций n) может, например, выступать заданная экзогенно константа - разность между значениями весов w на двух последовательных итерациях. Таким образом можно отследить момент, когда веса в модели перестанут существенно изменяться.

Также обратим внимание, что поскольку мы имеем дело с прогнозированием финансовых рынков, то под х будет подразумеваться временной ряд доходностей финансового инструмента.

Как можно увидеть из (15), наличие нелинейный функции преобразования, а также итеративный характер расчета в значительной степени сближает метод независимых компонент с искусственными нейронными сетями, основные характеристики которых были описаны в Главе 1.

Для того чтобы все столбцы (векторы весов) w демикширующей матрицы W не сошлись к одному и тому же максимуму нэгентропии, необходимо также провести специальную процедуру декорреляции Грэма-Шмидта (16):

где- номера уже вычисленных столбцов (векторов весов)

демикширующей матрицы W.

После того, как демикширующая матрица W рассчитана, в соответствии с (12) можно получить реконструкцию наблюдаемого эмпирического вектора х - вектор независимых компонент s (аналог реконструкции эмпирического вектора A в соответствии с методом главных компонент из (8)). Обратим внимание на то,

что размерность эмпирического вектора x и его реконструкции s не обязательно должна совпадать: наблюдаемому процессу может соответствовать как большее, так и меньшее число независимых компонент.

Мы провели теоретический анализ метода главных и метода независимых компонент, и в дальнейшем будем использовать эти методы для предварительной обработки входных данных в искусственных нейронных сетях.

2.2.

<< | >>
Источник: Головачев Сергей Сергеевич. Прогнозирование доходности на фондовом и валютном рынках на основе моделей искусственных нейронных сетей. Диссертация на соискание ученой степени кандидата экономических наук. Москва - 2014.

Еще по теме Предварительная обработка входных данных искусственными нейронными сетями при прогнозировании финансовых рынков с помощью метода главных компонент и метода независимых компонент:

  1. 3.1. Прогнозирование финансовых рынков с помощью искусственной нейронной сети Кохонена-Хакена, использующейконкурентную обработку входных данных
  2. Прогнозирование финансовых рынков с помощью искусственной нейронной сети, обученной по методу Левенберга-Марквардта и использующей снижение размерности входных данных (упрощение картины мира)
  3. Прогнозирование фондового и валютного рынков с помощью искусственной нейронной сети Хакена, использующей предварительную обработку входных данных в виде формирования контекстной памяти
  4. Прогнозирование фондового и валютного рынков с помощью роевой архитектуры искусственных нейронных сетей, использующей кластеризацию данных в качестве инструмента предварительной обработки
  5. Глава 2. Инвестиционные решения на фондовом и валютном рынках на основе упрощенной картины мира и контекстной памяти - представление в форме искусственных нейронных сетей с предварительной обработкой входных данных
  6. Глава 3. Иллюзия субъективной полноты картины мира, свойственная репрезентативному инвестору, и ее воспроизведение посредством искусственных нейронных сетей, использующих конкурентные механизмы предварительной обработки входных данных
  7. Основные характеристики, типология и принципы построения искусственных нейронных сетей при прогнозировании финансовых рынков
  8. Глава 1. Роль искусственных нейронных сетей в прогнозировании финансовых рынков
  9. Обоснование выбора данных и их предварительная обработка
  10. Принятие решений репрезентативным агентом на основе ограниченной рациональности и самоорганизации: имитация с помощью искусственных нейронных сетей
  11. Самоорганизация в искусственных нейронных сетях и на финансовых рынках
  12. Анализ импорта компонентов в структурах закупок компаний нефтяной промышленности
  13. Головачев Сергей Сергеевич. Прогнозирование доходности на фондовом и валютном рынках на основе моделей искусственных нейронных сетей. Диссертация на соискание ученой степени кандидата экономических наук. Москва - 2014,
  14. Методы оценки стоимости розничных структурированных продуктов.
  15. Формы и методы банковского регулирования
  16. Метод оптимизации опционных продуктов
  17. ГЛАВА 2. Методы оценки стоимости розничных структурированных продуктов.
  18. ГЛАВА 4. РЕАЛИЗАЦИЯ РАЗРАБОТАННОГО ИНСТРУМЕНТАРИЯ И МЕТОДОВ ПОСТРОЕНИЯ ОПЦИОННЫХ ПРОДУКТОВ
  19. АУДИТОРСКИЕ СВИДЕТЕЛЬСТВА И МЕТОДЫ ИХ ПОЛУЧЕНИЯ
  20. СИСТЕМНЫЙ АУДИТ КАК МЕТОД ОЦЕНКИ ВНУТРЕННЕГО КОНТРОЛЯ