Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1




Скачать 92.88 Kb.
НазваниеГетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1
Дата публикации19.09.2014
Размер92.88 Kb.
ТипДокументы
shkolnie.ru > Химия > Документы


ГЕТЕРОСКЕДАСТИЧНАЯ РАЗРЕЖЕННАЯ БАЙЕСОВСКАЯ РЕГРЕССИЯ И ЕЕ ПРИМЕНЕНИЕ В ЗАДАЧЕ ПРОГНОЗА ТЕМПЕРАТУРЫ ПЛАВЛЕНИЯ ХАЛЬКОПЕРИТОВ И ЗАДАЧЕ СИНТЕЗА НАНОРАЗМЕРНОГО ОКСИДА АЛЮМИНИЯ1

Д. Ветров2, Д. Кропотов3
2 Московский государственный университет, факультет ВМиК, 119992, Москва, ГСП-2, Ленинские Горы, 1, vetrovd@yandex.ru

3 Вычислительный центр им. А.А. Дородницына РАН, 119333, Москва, ул. Вавилова, д. 40, dkropotov@yandex.ru

В работе предлагаются два метода решения задачи восстановления регрессии в рамках байесовского подхода. Эти методы позволяют получать разреженные решающие правила, где разреженность понимается в смысле небольшого количества задействованных признаков или объектов. В частности, рассматриваются два варианта недиагональной регуляризации обобщенных линейных моделей, которые приводят к алгоритмам с большой величиной обоснованности. Основное внимание уделено гетероскедастичным регрессорам. Предложенные алгоритмы апробированы при решении двух химических задач: прогноз температуры плавления халькопиритов и прогноз оптимальных условий синтеза наноразмерного оксида алюминия.

Введение

В настоящее время байесовские методы активно используются при решении задач классификации и восстановления регрессии [1]. Успех данного подхода обеспечивается практическим отсутствием параметров, которые необходимо настраивать пользователю при решении задач. Кроме того, байесовские методы позволяют автоматически отсеивать большую часть объектов или признаков в решающем правиле, что соответствует высокой степени интерпретируемости решения, а также позволяет быстро проводить распознавание новых объектов. Также следует отметить, что байесовский подход обеспечивает не только точечное значение прогноза, но и степень уверенности алгоритма в выдаваемом ответе. К числу широко используемых байесовских алгоритмов анализа данных следует отнести метод релевантных векторов (RVR) [2] и байесовскую логистическую регрессию [3]. В данной работе предложены два метода модификации RVR. Новые методы обладают более высокой скоростью обучения, большими значениями обоснованности и разреженности по сравнению с RVR.

^ Гетероскедастичная байесовская регрессия

Предположим, что имеется выборка данных , где , а целевая переменная. Необходимо для нового объекта предсказать значение . Предположим, что значение целевой переменной является зашумленным выходом функции регрессии от входных переменных:

,

где в качестве функции регрессии используется линейная модель

.

Здесь - набор числовых параметров, а - обобщенные признаки, в качестве которых, в частности, могут выступать исходные признаки или ядровые функции с центрами в объектах обучения . Пусть шумовая компонента имеет независимое нормальное распределение с нулевым математическим ожиданием и дисперсией пропорциональной значению целевой переменной:



Тогда правдоподобие обучающей выборки может быть представлено как



(1)

где , а



Заметим, что случай гомоскедастичной регрессии соответствует единичной матрице .

Байесовский подход предполагает задание априорных распределений на параметры алгоритма . Выберем в качестве априорного распределения нормальное распределение с центром в нуле и матрицей ковариации :



Прогноз значения целевой переменной для нового объекта вычисляется как интеграл по всевозможным значениям параметров алгоритма :



(2)

Здесь





Выражение (2) представляет собой свертку двух нормальных распределений и может быть вычислено как



Оптимальное значение матрицы регуляризации из некоторого семейства матриц находится с помощью максимизации величины обоснованности:



(3)

В дальнейшем рассматриваются два семейства матриц , обладающих различными интересными свойствами.

^ Регуляризация вдоль собственных векторов гессиана логарифма правдоподобия

Рассмотрим функцию правдоподобия (1). Она может быть представлена как



Здесь играет роль гессиана логарифма правдоподобия. Рассмотрим собственные значения и собственные векторы матрицы : . Выберем в качестве семейства матриц набор матриц, соответствующих независимой регуляризации вдоль собственных векторов :



Основным достоинством такой регуляризации является то, что значение обоснованности в терминах может быть представлено как произведение одномерных интегралов, каждый из которых может быть легко вычислен аналитически. Оптимальные значения равны

Для оценки значения может быть использована итерационная процедура, предложенная в [2]:



^ Регуляризация в семействе симметричных неотрицательно определенных матриц

Выберем следующее семейство матриц регуляризации:



Приравнивая производную обоснованности (3) по матрице к нулю, получаем следующее выражение для оптимальной матрицы регуляризации [4]:



Матрица симметричная, но, вообще говоря, не является неотрицательно определенной. Преобразуем матрицу к диагональному виду . Так как матрица имеет ранг 1, а , то в диагональной матрице только одна компонента может быть положительной. Обозначим ее через . Тогда можно показать, что оптимальная неотрицательно определенная матрица регуляризации может быть получена из заменой всех отрицательных собственных значений на , т.е. .

^ Задача прогноза температуры плавления халькопиритов

В последнее время внимание исследователей привлекли полупроводники с тетрагональной кристаллической структурой халькопирита. Интерес к халькопиритам вызван перспективами их применения в оптоэлектронике [5,6], солнечной энергетике [6], нелинейной оптике [7] и спинтронике [8]. Задача состоит в прогнозе температуры плавления халькопирита по данным о составляющих его химических элементах. Обучающая выборка состоит из 40 халькопиритов (см. таблицу 1), а тестовая выборка – из 14 элементов (см. таблицу 3).

Для решения данной задачи использовалась гетероскедастичная регрессия, т.к. традиционно в химии точность прогноза температуры измеряется в доле отклонения от абсолютной величины. В экспериментах участвовали три метода: метод релевантных векторов (RVR), предложенный метод с регуляризацией вдоль собственных векторов гессиана логарифма правдоподобия (REVR) и предложенный метод с регуляризацией в семействе симметричных неотрицательных матриц (IREVR). Каждый раз в качестве обобщенных признаков использовались следующие:

а параметр настраивался с помощью скользящего контроля.
^ Таблица 1. Вещества, входящие в обучающую выборку

AgTlTe2

AgFeSe2

CuFeS2

CuTlTe2

CuFeTe2

CuInSe2

ZnSnSb2

CdSnP2

AgGaS2

LiGaTe2

ZnSnAs2

ZnGeP2

CuTlSe2

AgInSe2

CuAlSe2

CuFeSe2

CuInTe2

CuGaSe2

CdSnAs2

CdGeP2

CuInS2

AgTlSe2

AgGaSe2

ZnSiAs2

LiInTe2

CdSiAs2

CdSiP2

CdGeAs2

CuGaTe2

CuGaS2

AgFeTe2

ZnGeAs2

ZnSiP2

AgInTe2

AgInS2

CuAlS2

AgGaTe2

CuAlTe2




AgAlTe2

ZnSnP2





В таблице 2 приведены результаты экспериментов на обучающей выборке. Для оценки качества использовался следующий критерий:



Значение критерия оценивалось с помощью скользящего контроля (5x2-fold cross validation). Результаты экспериментов приведены для трех наборов признаков. Набор признаков П1 состоит из простых химических признаков каждого из элементов, входящего в состав халькопирита. Набор П2 представляет собой специально отобранные признаки, полученные в результате исследования. Набор П3 – это набор П2 с добавлением логарифмов всех признаков. Результаты прогноза для набора П1 лишь немногим лучше погрешности в 20%, что соответствует точности, с которой эксперт решает эту задачу вручную. Наборы П2 и П3 позволяют добиться точности в 14%, что уже значительно лучше, чем точность экспертной оценки.
^ Таблица 2. Результаты экспериментов

Метод

П1

П2

П3

RVR

0.195 ± 0.009

0.173 ± 0.027

0.155 ± 0.026

REVR

0.182 ± 0.009

0.155 ± 0.004

0.142 ± 0.024

IREVR

0.177 ± 0.007

0.151 ± 0.004

0.143 ± 0.016


В таблице 3 приведен прогноз для тестовой выборки, полученный с помощью метода IREVR.
^ Таблица 3. Прогноз температуры плавления

Вещество

Прогноз

Ст.отклонение

ZnAlS2

1432,1537

118,6126

ZnAlSe2

1265,6839

113,9763

ZnAlTe2

1077,854

112,9513

ZnGaTe2

1006,2543

113,4827

CdGaTe2

901,5154

114,5348

HgGaTe2

688,0056

117,1578

AgFeS2

1177,1537

113,7476

AgAlS2

1430,2483

116,9982

AgAlSe2

1225,4362

113,2886

ZnGeN2

1420,5192

116,9595

MgSiP2

1391,4328

118,5705

MnGeP2

1258,7763

115,1215

MgGeAs2

1201,7747

113,6561

BeCN2

929,7983

116,0099

^ Задача синтеза наноразмерного оксида алюминия

Задача синтеза дешевых наноразмерных материалов из окиси алюминия является одной из актуальных проблем современной химии [10]. В качестве предшествующего материала часто используется гидрокарбонат алюмаммония (AACH), для синтеза которого проводится реакция с участием NH4Al(SO4)2 и NH4HCO3. В данном исследовании решалась задача прогноза выхода AACH в процентах при различных условиях этой реакции. Обучающая выборка состояла из 34 объектов, а тестовая – из двух. Результаты экспериментов приведены в таблицах 4 и 5. Эти результаты показывают, что предложенные методы работают в целом лучше, чем метод релевантных векторов, а качество прогноза оказалось лучше, чем у используемого химиками алгоритма решения данной задачи на основе метода опорных векторов [9].
^ Таблица 4. Результаты экспериментов на обучающей выборке

Метод

WRMSE

RVR

0.061 ± 0.030

REVR

0.046 ± 0.010

IREVR

0.036 ± 0.005


^ Таблица 5. Прогноз выхода AACH

Объект

Правильный ответ

Прогноз [9]

Прогноз IREVR

1

100%

96.51%

97.51%

2

100%

95.99%

96.93%

Список литературы

  1. C.M. Bishop. Pattern recognition and machine learning. Springer. - 2006.

  2. M.E. Tipping. Sparse Bayesian learning and the relevance vector machine // Journal of Mach. Learn. Res. – 2001. – Vol.1. – P.211-244.

  3. G.C. Cawley, N.Talbot, M.Girolami. Sparse multinomial logistic regression via Bayesian l1 regularization // Advances in neural information processing systems. – 2007. – Vol.19. - MIT press.

  4. D.Kropotov, D.Vetrov. Optimal Bayesian linear classifier with arbitrary Gaussian regularizer // Proc. of 7th Open German-Russian Workshop “Pattern Recognition and Image Understanding”, to appear

  5. V.S. Vavilov. Physics and applications of wide bandgap semiconductors // Physics - Uspekhi. - 1994. - V.37, No.3 - P. 269-277.

  6. S. Siebentritt. Wide gap chalcopyrites: material properties and solar cells // The solid films. - 2002. V.403-404. - P.1-8.

  7. Bai L., Lin Z., Wang Z., Chen C. Mechanism of linear and nonlinear optical effects of chalcopyrite AgGaX2 (X = S, Se, and Te) crystals // J. Chem. Phys. - 2004. - V.120, No.18. - P.8772-8778.

  8. Pearton S.J., Abernathy C.R., Norton D.P., et al. Advances in wide bandgap materials for semiconductor spintronics // Mater. Sci. and Eng. - 2003. - V.R40. - P.137-168.

  9. Chi-Cheng Ma, Xue-Xi Zhou. Using Support vector machine in the optimization design for the preparation of ACCH

  10. Chi-Cheng Ma, Xue-Xi Zhou, et al. Synthesis and thermal decomposition of ammonium aluminate carbonate hydroxide (AACH) // Materials Chemistry and Physics. – 2001. – Vol.72. – P.374-379.

______________________________________________________________________

1 Работа выполнена при поддержке РФФИ (проекты №№06-01-08045, 05-01-00332, 05-07-90333, 07-01-00211, 07-01-12020)

Похожие:

Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconК учебному пособию кафедры ауиррв
Наличие современных пакетов проектирования, анализа и синтеза свч устройств еще не гарантирует достоверности модели. Умение построить...
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconСтруктурный подход и принципы формирования примитивов в задаче распознавания...
Ый подход и принципы формирования примитивов в задаче распознавания составных объектов 1
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconЗадание: к задаче №1, 2, 3, 4 (решение верно) внести пояснения к...
К задаче №1, 2, 3, 4 (решение верно) внести пояснения к решению (откуда формула, какая, промежуточные и т п.)
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconМодели и алгоритмы обнаружения локальных закономерностей в задаче...

Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconФормализация лексического значения слова в задаче распознавания ситуаций...

Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconЗадача №1
В первой задаче, где-то промахнулись с арифметикой там должен получиться доход, а не убыток
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconЗадания на контрольную работу по дискретной математике
В задаче о кенигсбергских мостах, добавив необходимые ребра, построить эйлеров граф
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconУрок на тему «Условие и вопрос в задаче»
К неравенству? (Вставьте вместо такие числа, чтобы неравенство стало верным). 7, 8, 9
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconПо каким признакам экосистемы относятся к классу сложных систем?
Источником оксида азота в атмосфере является реакция. По величине констант равновесия этой реакции для температуры –300 и +300 с...
Гетероскедастичная разреженная байесовская регрессия и ее применение в задаче прогноза температуры плавления халькоперитов и задаче синтеза наноразмерного оксида алюминия1 iconЗадание №3 (выполняется студентами, фамилии которых начинаются с букв н-с)
Выполнить бухгалтерские проводки и определить остатки средств по счетам, указанным в задаче
Вы можете разместить ссылку на наш сайт:
Школьные материалы


При копировании материала укажите ссылку © 2014
shkolnie.ru
Главная страница