Диплом, курсовая, контрольная работа
Помощь в написании студенческих работ

Метод взвешенных полных наименьших квадратов в задачах математического моделирования

Диссертация: Метод взвешенных полных наименьших квадратов в задачах математического моделирования
ДиссертацияПомощь в написанииУзнать стоимостьмоей работы

Впервые метод полных наименьших квадратов был использован для решения задач регрессионного анализа в математической статистике академиком Ю. В. Линником. В дальнейшем исследованию и применению метода полных наименьших квадратов посвящены работы российских ученых В. В. Федорова, А. И. Жданова, A.B. Крянева, а также известных зарубежных ученых Дж. Голуба (G. Golub), Ван Лоана (С. Van Loan), Ван… Читать ещё >

Содержание

  • Г л, а в, а 1. Взвешенный метод полных наименьших квадратов
    • 1. 1. Формулировка взвешенного ТЬЭ — метода
    • 1. 2. БУБ — анализ ЧУТЬБ — метода
    • 1. 3. Геометрическая интерпретация
  • V. TLS — задачи
    • 1. 4. Обусловленность вычислительных
  • V. TLS — задач
    • 1. 5. Статистические свойства
  • V. TLS — метода
    • 1. 6. Выводы
  • Г л, а в, а 2. Вычислительные аспекты взвешенного метода полных наименьших квадратов
    • 2. 1. Обзор численных алгоритмов метода полных наименьших квадратов
      • 2. 1. 1. Численные методы и подходы решения задач полных наименьших квадратов
      • 2. 1. 2. Методы решения плохо обусловленных СЛАУ
      • 2. 1. 3. Прямой рекуррентный метод
      • 2. 1. 4. Алгоритмы вычисления собственных значений
    • 2. 2. Метод расширенной системы уравнений
    • 2. 3. Выводы
  • Г л, а в, а 3. Математическое моделирование процесса растворимости химических веществ
    • 3. 1. Формулировка задачи математического моделирования процесса растворимости
    • 3. 2. Результаты вычислений
    • 3. 3. Выводы

Метод взвешенных полных наименьших квадратов в задачах математического моделирования (реферат, курсовая, диплом, контрольная)

Общая характеристика работы.

Актуальность темы

Почти любая задача математического моделирования, в которой исходных данных достаточно для того, чтобы переопределить решение, требует применения того или иного метода аппроксимаций. По ряду вполне объективных причин наиболее часто в качестве критерия аппроксимации выбирают метод наименьших квадратов. Основной причиной широкого использования для решения многих практических задач математического моделирования критерия наименьших квадратов является его «грубость» по отношению к априорным предположениям, используемым при решении конкретных практических задач [29]. Кроме того, задачи наименьших квадратов часто возникают и как составная часть некоторой более обширной вычислительной проблемы [22]. Например, определение орбиты космического корабля нередко сводится математиками к решению многоточечной краевой задачи для обыкновенного дифференциального уравнения. При этом вычисление орбитальных параметров обычно требует нелинейного оценивания в смысле наименьших квадратовв последнем используют различные схемы линеаризации. К задаче наименьших квадратов можно подойти как к задаче отыскания для заданной точки функционального пространства ближайшей точки в заданном подпространстве.

В диссертационной работе рассматривается взвешенный вари——————ант метода полных наименьших квадратов, который позволяет решать большой класс задач линейного параметрического оценивания с учетом неоднородных ошибок в исходных данных [16].

Задача линейного параметрического оценивания является достаточно общей для широкого класса научных дисциплин, таких, как теория сигналов, автоматическое управление, теория систем, а также часто возникает при решении различных технических, статистических, физических, экономических, медицинских и других проблем.

Впервые метод полных наименьших квадратов был использован для решения задач регрессионного анализа в математической статистике академиком Ю. В. Линником [21]. В дальнейшем исследованию и применению метода полных наименьших квадратов посвящены работы российских ученых В. В. Федорова, А. И. Жданова [8, 10], A.B. Крянева [20], а также известных зарубежных ученых Дж. Голуба (G. Golub) [54 — 56], Ван Лоана (С. Van Loan), Ван Хаффеля (S. Van Huffei), Д. Вандевейла (J. Vandewalle), М. Кендалла, А. Стьюарта [16]. К сожалению, все эти работы основаны на предположении однородности ошибок в исходных данных, в то время как для болыиинства возникающих в практике задач это предположение не выполняется. Это хорошо известно даже на примере использовании обычного метода наименьших квадратов [22, 41]. Однако проблемы, возникающие при применении метода полных наименьших квадратов в условиях неоднородных ошибок в исходных данных существенно сложнее соответствующих проблем, возникающих в обычном взвешенном методе наименьших квадратов.

Поэтому актуальной на сегодняшний день является разработка эффективных численных алгоритмов для взвешенного варианта метода полных наименьших квадратов, предназначенного для решения задач математического моделирования в условиях неоднородности ошибок в исходных данных.

Цель диссертационной работы заключается в исследовании взвешенного варианта метода полных наименьших квадратов, позволяющего решать задачи математического моделирования и линейного параметрического оценивания в условиях неоднородных ошибок в исходных данных и разработке эффективных численных алгоритмов решения этой задачи.

Для достижения поставленной в работе цели были решены следующие задачи: /{/ с''.

1. Исследована обусловленность вычислительной WTLS — задачи.

2. На основе сингулярного анализа сформулированной задачи был получен критериальный вид для задачи взвешенных полных наименьших квадратов.

3. Исследованы условия существования и единственности решения задачи взвешенных полных наименьших квадратов. (-г ' I Л! *.

4. Разработан эффективный численный алгоритм для решения ¥-ТЬ8 — задачи.

5. Разработан метод математического моделирования процессов растворимости химических веществ, описываемых нелинейными алгебраическими уравнениями в неявном виде.

Научная новизна заключается в следующем.

1. Исследован критерий для VTLS — задачи в виде отношения двух положительно определенных квадратичных форм.

2. Получены условия существования и единственности рассматриваемой WTLS — задачи.

3. Исследована обусловленность вычислительнойУТЬЭ — задачи.

4. Для уменьшения числа обусловленности вычислительной задачи VTLS — метода предложено ее преобразование к эквивалентной задаче решения некоторой совместной системы линейных алгебраических уравнений (СЛАУ).

5. В предположении о стохастическом характере возмущений в исходных данных доказана сильная состоятельность оценок решений, получаемых предложенным ¥-ТЬ8 — методом. Этот асимптотический (в статистическом смысле) результат подтверждает обоснованность предложенного WTLS — метода.

6. С применением ¥-ТЬ8 — метода решена задача определения параметров математических моделей процессов, описываемых нелинейными алгебраическими уравнениями в неявном виде. Теоретическая и практическая значимость значимость работы состоит в том, что разработанный взвешенный вариант метода полных наименьших квадратов позволяет решать большой класс задач параметрического оценивания и математического моделирования в условиях сильно неоднородных (по точности) экспериментальных данных. Особую теоретическую и практическую значимость полученные результаты имеют для решения задач регрессионного анализа с ошибками в независимых переменных, играющего основополагающую роль в теории идентификации систем, эконометрике и многих других задачах, связанных с обработкой данных. Полученные в работе теоретические результаты применены для решения задачи идентификации параметров математической модели растворимости химических веществ.

Методы исследований. При формулировке и доказательстве результатов в диссертационной работе используются положения линейной алгебры, вычислительной линейной алгебры и современного численного анализа, а также теория параметрической идентификации систем. При разработке программного обеспечения использовался пакет МАТЬАВ (версия 5.3).

Апробация работы. Результаты диссертации докладывались и обсуждались на:

1) Международной конференции «Математическое моделирование.

ММ-2001″ (г. Самара, 2001 г.);

2) Всероссийской конференции по прикладной и промышленной математике (г. Самара, 2001 г.);

3) 12-й научной межвузовской конференции «Математическое моделирование и краевые задачи» (г. Самара, 2002 г.);

4) 3-й Международной конференции молодых ученых и студентов «Актуальные проблемы современной науки» (г. Самара, 2002 г.).

Личный вклад. Основные теоретические положения разработаны совместно с научным руководителем проф. А. И. Ждановым. Доказательство всех утверждений и теорем, исследование приложений, анализ результатов и выводы из них выполнены автором самостоятельно.

Публикации. По теме диссертации опубликовано 5 работ [16 -19,.

30].

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, списка литературы из 89 наименований источников отечественных и зарубежных авторов. Общий объем диссертации составляет 100 страниц.

Основные результаты и выводы по диссертационной работе:

1. Получены условия существования и единственности для взвешенного метода полных наименьших квадратов.

2. Приведена стохастическая формулировка ¥-ТЬ8 — задачи и доказана сильная состоятельность оценок получаемых этим методом.

3. Проведен анализ обусловленности вычислительной задачи взвешенных полных наименьших квадратов.

4. WTLS — задача преобразована к эквивалентной задаче, состоящей в решении некоторой совместной СЛАУ, что позволяет значительно уменьшить число обусловленности исходной вычислительной VTLS — задачи.

5. Разработан алгоритм основанный на прямом проекционном методе, позволяющий наиболее эффективно решать расширенную СЛАУ для ^МТЬ/Б — задачи.

6. Решена задача определения оценок параметров математических моделей процессов растворимости химических веществ, описываемых нелинейными алгебраическими уравнениями в неявной форме, с применением yTLS — метода.

Заключение

.

Показать весь текст

Список литературы

  1. А. Регрессия, псевдоинверсия и рекуррентное оценивание. М.: Наука, 1977.
  2. Й., Спедикато Э. Математические методы для линейных и нелинейных уравнений: Проекционные АВБ-алгоритмы.- М.: Мир, 1996. 268 с.
  3. Д.В. Дополнительные главы линейной алгебры.1. М.: Наука, 1983. 336 с.
  4. И.Н., Семендяев К. А. Справочник по математике.- М.: Наука, 1965. 608с.
  5. В.В. Численные методы алгебры (теория и алгорифмы). М.: Наука, 1966. — 248 с.
  6. В.В., Кузнецов Ю. А. Матрицы и вычисления. М.:1. Наука, 1984. 320 с.
  7. Ф.Р. Теория матриц. М.: Наука, 1967. — 575 с.
  8. А.И. Решение некорректных стохастических линейныхалгебраических уравнений регуляризованным методом максимального правдоподобия //ЖВМиМФ 1988. — Т. 28, N9.-0. 1420−1425.
  9. А.И. Вычисление регуляризованных оценок наименьших квадратов коэффициентов авторегрессии по неточнымданным// АиТ 1990. N 3, С. 110−117.
  10. А.И. О приближенных стохастических системах линейных алгебраических уравнений//ЖВМиМФ 1989 — Т. 29, N 12. С. 1776−1787.
  11. А.И. Прямые рекуррентные алгоритмы решения линейных задач метода наименьших квадратов//ЖВМиМФ -1994 Т. 34, N 6. С. 811−814.
  12. А.И. Прямой последовательный метод решения системлинейных алгебраических уравнений//Докл. РАН 1997 — Т. 356, N 4. С, 442−444.
  13. А.И., Кацюба O.A. Особенности применения метода наименьших квадратов для оценивания линейных разностных операторов в задачах идентификации объектов управле- ния//АиТ 1979 — N 8. — С. 86−92.
  14. Жданов А.И.у Шамаров П. А. Прямой проекционный метод взадаче полных наименьших квадратов // АиТ 2000. — N 4. -С. 77−87.
  15. А.И., Шевченко О. П. Моделирование процесса растворимости веществ на основе полного метода наименьших квадратов//Тр. междунар. конф. «Математическое моделирование ММ-2001». Самара. — 2001. — С. 100 — 101.
  16. А.И., Шевченко О. П. Взвешенный метод полных наименьших квадратов и его применение//Обозр. прикл. и про-мышл. матем. Москва. — 2001. — Т. 8, N 1. — С. 169 — 170.
  17. А.И., Шевченко О. П. Матричная форма метода оптимального исключения / / Актуальные проблемы современной науки. Труды 3-й Междунар. конф. молодых ученых и студентов. Самара, 2002. — С. 17.
  18. А.В. Статистическая форма регуляризованного метода наименьших квадратов А.Н. Тихонова // Докл. АН СССР. 1986. Т. 291. N 4. С. 780−785.
  19. Ю.В. Метод наименьших квадратов и основы математике статистической обработки наблюдений. — М.: Физмат-гиз, 1962. — 349 с.
  20. Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. М.: Наука, 1986. — 230 с.
  21. Л. Идентификация систем. Теория для пользователя.1. М.: Наука, 1991. 432 с.
  22. . Симметричная проблема собственных значений.1. М.: Мир, 1983. 382 с.
  23. Д. Матричные вычисления и математическое обеспечение.- М.: Мир, 1984. 264 с.
  24. Г. В. Определение экстремальных собственных значений минимизацией функционалов специального вида // ЖВ-МиМФ. 1985. Т. 25. N 2. С. 292−295.
  25. Дж. X. Алгебраическая проблема собственных значений М.: Наука, 1970. — 564 с.
  26. П.А. О численной обусловленности задачи полныхнаименьших квадратов // Вестник Самарского филиала Московского гос. ун та печати. Выпуск 1. Технология, организация экономика и управление. Москва, 2000. С. 54.
  27. П. Основы идентификации систем управления. М.:1. Мир, 1975. 685 с.
  28. О.П. Сильная состоятельность взвешенного метода полных наименьших квадратов//Труды 12-й межвуз. конф. «Математическое моделирование и краевые задачи». Самара, 2002. — С. 139 — 144.
  29. Abatzoglou Т.J., Mendel J.M. Constrained total least squares // Proc. IEEE Internat. Conf. on Acoustic, Speech and Signal Processing. 1987. Dallas. P. 1485−1488.
  30. Abatzoglou T.J., Mendel J.M., Harada G.A. The constrained totalleast squares technique and its application to harmonic surresolution // IEEE Trans. Signal Processing. 1991. SP-39. P. 1070−1087.
  31. Ahmed M.S. Estimation of difference equation parameters SISOsystems by correlation analysis // Int. J. Control. 1982. Vol 35.
  32. Akaike H. Some problems in the application of the cross-spectralmethods // B. Harris (Ed.) Spectral Analysis of Time Series. New York: Wiley, 1967.
  33. Ammann L.P., Van Ness J.W. Converting regressions algorithmsinto corresponding orthogonal regression algorithms//ACM Trans. Math. Software. 1988. No. 14. P. 76−87.
  34. Ammann L.P., Van Ness J. W. Standard and robust orthogonalregression // Comm. Statist. B-Simulation Comput. 1989. No. 18. P. 145−162.
  35. Aoki M., Yue P.C. On certain convergence questions in systemidentification // SIAM J. Cotrol. 1970. Vol. 8. No. 2. P. 239−255.
  36. Aoki M., Yue P.C. On a priory estimates of some identificationmethods//ASME Design and Automat. Conf. 1982. Boston. P. 215−220.
  37. Arioli M., Duff I.S., de Rijk P.P.M. On the augment system approach to sparce least-squares problems // Numer. Math. 1989. Vol. 55. p. 667 684.
  38. Benzi M., Meyer C.D. A direct projection method for sparse linearsystem // SIAM J. Sci. Comput. 1995. V. 16. No. 5. P. 1159−1176.
  39. Bjork A. Handbook of numerical analysis. V. 1. North-Holland:1. Elsevier, 1990.
  40. Bjork A. Component-wise perturbation analysis and errors boundsfor linear least squares solutions//BIT. 1991. Vol. 31. P. 238−244.
  41. Bjork A. Pivoting and Stability in the Augment System Method //
  42. Numerical Analysis. 1991. Proceedings of the Dundee Conference. Griffiths D.F. and Watson G.A. eds. P. l-16.
  43. Bjork A. Numerical Stability of Methods for Solving Augment
  44. Systems//Contemp. Math. 1997. Vol. 204. P. 51−59.
  45. Bjork A., Heggernes P., Matstoms P. Methods for large scale totalleast squares problems // Preprint. 1999. 18 p.
  46. Bunch J.R., Nielsen C.P., Sorensen D.C. Rank-one modification ofthe symmetric eigenproblem // Number. Math. 1978. No. 31. P. 31−48.
  47. Fernando K.V., Nicholson H. Identification of liner systems withinput and output noise: Koopmans-Levin method // IEE Proc. D. 1985. Vol. 132. P. 30−36.
  48. Fierro R.D., Bunch J.R. Pertubation Theory for Ortogonal Projection Mb G/H/ethods with Application Methods with Application to Least Squares and Total Least Squares // Linear Algebra and its Applications. 1996. Vol. 234. P. 71−96.
  49. Fierro R.D. GolubG.H., Hansen P.C., O’Leary D.P. Regularizationby Truncated Total Least Squares. Repot UNIC-93−14. 1993. 20 p.
  50. Erkki O., Liuyue W. Robust Fitting by Nonlinear Neural Units //
  51. Neural Networks. 1996. Vol. 9. P. 435−444.
  52. Gives W. Numerical computations of the characteristic values of areal symmetric matrix. Oak Ridge National Laboratory, ORNL-1574. 1954.
  53. Golub G.H., Hansen P.C., O’Leary D.P. Tikhonov regularizationand total least squares // SIAM J. Matrix Anal. Appl. 2000. Vol. 21. P. 185−194.
  54. Golub G.H., Van Loan C.F. Total Least squares // Smoothing Techniques for Curve Estimation. 1979. T. Gasser and M. Rosenblatt eds., Springer-Verlag: New York. P. 69−76.
  55. Golub G.H., Van Loan C.F. An Analysis of the total least squaresproblem // SIAM J. Numer. Anal. 1980. No. 17 P. 883−893.
  56. Golub G.H., Van Loan C.F. Matrix Computation. Baltimor MD.:1. John Hopkins Press, 1989.
  57. Heij C., Scherrer W. Consistency of system identification by globaltotal least squares // Automatica. 1999. Vol. 35. P/ 993−1008.
  58. Kamm J., Nagy J.G. A total least squres method for Toeplitzsystems of equations // BIT. 1998. No. 38. P. 521−534.
  59. Koopmans T. Linear Regession Analysis of Economic Time Series.
  60. N.V. Haarlem, Netherlands: De Erven F. Bohn, 1937.
  61. Levin M. Estimation of a System Pulse Transfer Function in the
  62. Presence of Noise // IEEE Trans. Automat. Contr. 1964. Vol. AC-9. No. 3. P.229−235.
  63. Madansky A. The fitting of straight lines when both variables aresubject to error //J. Amer. Statist. Assoc. 1959. No. 54. P. 173 205.
  64. Matsoms P. Squares QR factorization in MATLAB // Trans. Math.
  65. Software. 1994. No. 20. P. 136−159.
  66. Moonen M., De Moore B., Vandenberhg L., Vandewalle J. On-lineand off-line identification of linear state-space models // Internat. J. Control. 1989. Vol. 49. P. 219−232.
  67. Musheng W. Algebraic relation between the least squares and totalleast squares problem with more than one solution // Numer. Math. 1992. Vol. 62. P. 123−148.
  68. Musheng W. Pertubation theory for the Eckart-Young-Mirsky theorem and the constrained total least squares problem //Linear Algebra and its Appl. 1998. Vol. 280. P. 267−287.
  69. Navia- Vazques A., Fiqueras- Vidal A.R. Total least squares for blocktraining of neural networks // Neurocomputing. 1999. Vol. 25. P. 213−217.
  70. Pearson K. On lines and planes of closest fit to point in space //
  71. Phil. Mag. 1901. No. 2 P.559−572.
  72. Rahman M.A., Yu K.B. Total least squares approach for frequencyestimation using linear prediction // IEEE Trans. Acoust. Speech Signal Process. 1987. ASSP-35. P. 1440−1452.
  73. Scitovsky R., Ungar S., Judic D. Approximating surface by movingtotal least squres method // App. Math. And Comput. 1998. Vol. 93. P.219−232.
  74. Soderstorm T. Identification of Stochastic Linear Systems in Presense of Input Noise // Automatica. 1981. Vol. 17. No.5 P. 713−725.
  75. Spath H. Ortogonal least squares fitting with linear manifolds //
  76. Numer. Math. 1986. Vol. 48. P. 441−445.
  77. Soderstrom T., Stoica P. On the stability of dynamic models obtained by least squeres identification // IEEE Trans. Automat. Contr. 1981. Vol. AC-26. No.2 P. 575−577.
  78. Steiglitz K., McBride L.E. A technique for identification of linearsystems // IEEE Trans. Automat. Contr. 1965. Vol. AC-10. No. 5. P. 461−464.
  79. Stoica P., Soderstrom T. The Steiglitz-McBride identification algoritm revised convergence analysis and accurary aspects // IEEE Trans. Automat. Contr. 1982. Vol. AC-26. No. 3. P. 712−717.
  80. Stoica P., Soderstrom T. Bias correction in least-squares identification // Int. J. Control, 1982. V. 35. No. 3. P. 449−457.
  81. Stoica P., Soderstrom T. Optimal Instrumental-variable Methodfor Identification of Multivariabke Linear Systems // Automatica. 1983. Vol. 19. No. 4. P. 425−429.
  82. Szyld D.B. Criteria for combining inverse and Rayleigh quontinetintegration // SIAM J. Nurner. Anal. 1988. No. 25. P. 1369−1375.
  83. Trefethen L.N., Bau D. Numerical Linear Algebra.// SIAM, 1997.- 373 p.
  84. Van Huff el S., Vandewalle J. Algebraic connection between the leastsquares and total least squares problems // Numer. Math. 1989. Vol. 55. P. 431−449.
  85. Van Huffel S., Vandewalle J. The Total Least Squares Problem: Computational Aspects and Analysis, SIAM 1990. 313 p.
  86. Wald A. Asymptotic properties of the maximum-likehood estimateof an unknown parameter of a discrete stochastic process // An. Math. Statist. 1948. No. 19. P. 40−46. .
  87. Ward R.K. Comparison and diagnostic of errors for six parameterestination methods // Internat. J. Sys. Sci. 1984. No. 15. P. 745 758.
  88. Younan N.H., Fan X. Signal restoration va the regularized constrained total least squares // Signal Process. 1998. Vol. 71. P. 85−93.
  89. Zhdanov A.I., Katsyuba O.A. Strong consistency of estimates bythe method of ortigonal projections // Internat. J. System. Sci. 1990. V. 21. P.1463−1471.
  90. Zhdanov A.I., Shamarov P.A. The Direct Projection Method for
  91. Total Least Squares Problem // Abstracts of Invited Lectures and Short Communications. Delivered at the Seventh International Colloquium on Numerical Analysis and Computer Science with Applications. 1998. Plovdiv, Bulgaria. P. 41.
Заполнить форму текущей работой

На отлично!