Metoda Newtona

Metoda Newtona (zwana również metodą Newtona-Raphsona lub metodą stycznych) – algorytm iteracyjny prowadzący do wyznaczenia przybliżonej wartości miejsca zerowego funkcji jednej zmiennej lub wielu zmiennych.

Metoda Newtona

Rodzaj	algorytm iteracyjny, wyznaczanie przybliżonej wartości pierwiastka funkcji

Miejsce zerowe funkcji jednej zmiennej

Zadanie

Niech będzie dana funkcja ciągła $f$ jednej zmiennej rzeczywistej, określona na przedziale $[a,b]{:}$

$\mathbb {R} \supset [a,b]\ni x\mapsto f(x)\in \mathbb {R}$

Zadanie polega na wyznaczeniu miejsca zerowego (pierwiastka) równania

$f(x)=0,$

tj. na znalezieniu liczby $x^{*}\in [a,b],$ takiej że $f(x^{*})=0.$

Opis metody

Ilustracja działania metody Newtona, pokazane zostały 4 pierwsze kroki.

Założenia:

1. W przedziale $[a,b]$ znajduje się dokładnie jeden pierwiastek funkcji $f.$
2. Funkcja ma różne znaki na krańcach przedziału, tj. $f(a)\cdot f(b)<0.$
3. Pierwsza i druga pochodna funkcji mają stały znak w tym przedziale.

Krok 1: Wybierz dowolną wartość startową $x_{1},$ np. $x_{1}=a$ (lub $x_{1}=b$); następnie wyznacz równanie stycznej do wykresu funkcji w punkcie $[x_{1},f(x_{1})];$ następnie wyznacz odciętą $x_{2}$ punktu przecięcia tej stycznej z osią OX – odcięta $x_{2}$ jest drugim przybliżeniem szukanego rozwiązania.

Krok 2: Wartość $x_{2}$ wybierz jako nową wartość startową i powtórz obliczenia z kroku 1 – otrzymasz nową wartość przybliżoną $x_{3}.$

Proces kontynuuj do chwili, gdy będzie spełniony warunek zapewniający uzyskanie wystarczającego przybliżenia, co kończy proces iteracyjny (warunki kończące proces opisano dalej).

Wzór rekurencyjny

Dowodzi się, że kolejne przybliżenia szukanego miejsca zerowego dane są wzorem rekurencyjnym:

$x_{k+1}=x_{k}-{\frac {f(x_{k})}{f'(x_{k})}},k=1,2,....$

Szacowanie błędu

Błąd $k$-tego przybliżenia można oszacować poprzez nierówności:

$|x^{*}-x_{k}|\leqslant {\frac {f(x_{k})}{m}}$

lub

$|x^{*}-x_{k}|\leqslant {\frac {M}{2m}}(x^{*}-x_{k-1})^{2},$

gdzie $x^{*}$ – dokładna wartość pierwiastka, zaś stałe $m,M$ zadają wzory:

$m=\min _{x\in [a,b]}|f'(x)|$

oraz

$M=\max _{x\in [a,b]}|f''(x)|.$

Warunek zakończenia obliczeń

Stosowanych jest kilka kryteriów zakończenia obliczeń ($\epsilon$ to przyjęta dokładność obliczeń):

1. wartość funkcji w wyznaczonym punkcie jest bliska 0:

$\left|f(x_{k})\right|\leqslant \epsilon$

2. odległość pomiędzy kolejnymi przybliżeniami jest dość mała:

$\left|x_{k+1}-x_{k}\right|\leqslant \epsilon$

3. szacowany błąd jest dostatecznie mały:

${\frac {M}{2m}}(x_{k}-x_{k-1})^{2}\leqslant \epsilon$

4. kryterium mieszane (punkty 1 i 2 jednocześnie)

Zbieżność

Metoda Newtona-Raphsona jest metodą o zbieżności kwadratowej – rząd zbieżności wynosi 2 (wyjątkiem są zera wielokrotne, dla których zbieżność jest liniowa i wynosi 1), zaś współczynnik zbieżności ${\frac {M}{2m}}.$ Oznacza to, iż przy spełnionych założeniach błąd maleje kwadratowo wraz z ilością iteracji.

Metoda Newtona jest metodą rozwiązywania równań często używaną w solverach, ze względu na jej szybką zbieżność (w algorytmie liczba cyfr znaczących w kolejnych przybliżeniach podwaja się). Wadą jej jest fakt, iż zbieżność nie musi zawsze zachodzić. W wielu przypadkach metoda bywa rozbieżna, kiedy punkt startowy jest zbyt daleko od szukanego pierwiastka równania.

Profesjonalne solvery wykorzystują stabilniejsze, lecz mniej wydajne metody (jak np. metoda bisekcji) do znalezienia obszarów zbieżności w dziedzinie funkcji, a następnie używają metody Newtona-Raphsona do szybkiego i dokładniejszego obliczenia lokalnego pierwiastka równania. Dodatkowo solvery posiadają zabezpieczenia przed nadmierną liczbą wykonywanych iteracji (przekroczenie ustalonej liczby iteracji jest równoznaczne z niepowodzeniem algorytmu w zadanym przedziale).

Przykład

Za pomocą metody Newtona można obliczyć pierwiastek ${\sqrt {a}}$ dla każdej liczby $a\in \mathbb {R} ^{+}{:}$

${\sqrt {a}}=x\iff a=x^{2}\iff x^{2}-a=0.$

Funkcja f(x) ma postać:

$f(x)=x^{2}-a,$

$f\,'(x)=2x.$

Wzór rekurencyjny ma postać:

$x_{k+1}=x_{k}-{\frac {x_{k}^{2}-a}{2x_{k}}},$

$x_{k+1}={\frac {1}{2}}\left(x_{k}+{\frac {a}{x_{k}}}\right).$

Dla danych $a=2$ i $x_{0}=1$ algorytm przebiega następująco:

$x_{0}=1,$

$x_{1}={\frac {1}{2}}(1+{\frac {2}{1}})=1{,}5,$

$x_{2}={\frac {1}{2}}(1{,}5+{\frac {2}{1{,}5}})\approx 1{,}416666,$

$x_{3}={\frac {1}{2}}(1{,}416666+{\frac {2}{1{,}416666}})\approx 1{,}414214.$

Miejsce zerowe funkcji wielu zmiennych

Przykład użycia metody Newtona do rozwiązywania układu równań nieliniowych

Metodę Newtona można uogólnić do przypadku wielowymiarowego, tj. użyć jej do rozwiązywania układów równań wielu zmiennych (liniowych lub nieliniowych).

Zadanie

Niech U będzie otwartym podzbiorem przestrzeni $\mathbb {R} ^{n}$ oraz $F\colon U\to \mathbb {R} ^{n}$ będzie funkcją różniczkowalną.

Zadaniem uogólnionej metody Newtona jest znalezienie punktu $\mathbf {x^{*}} =[x_{1}^{*},x_{2}^{*},...,x_{n}^{*}],$ dla którego funkcja zeruje się, tj.

$F(\mathbf {x^{*}} )=\mathbf {0} ,$

gdzie $\mathbf {0} =[0,0,...,0]$

Opis metody

Algorytm, podobnie jak dla przypadku jednowymiarowego, polega na wyborze punktu startowego $\mathbf {x_{0}}$ (często wybiera się wektor zerowy lub wektor jedynek), a następnie rekurencyjnym przekształcaniu tego wektora aż do momentu, gdy kolejne przybliżenia będą satysfakcjonujące. Wektory przekształcane są zgodnie z równaniem macierzowym:

$\mathbf {x_{k+1}} =\mathbf {x_{k}} -\left(F'(\mathbf {x_{k}} )\right)^{-1}F(\mathbf {x_{k}} ),$

gdzie $F'$ jest pochodną (Frécheta) – jest to de facto macierz wielkości $n\times n.$

Przy implementacji metody, zamiast odwracania macierzy $F',$ efektywniej jest rozwiązać układ równań (tożsamy z powyższym równaniem):

$F'(\mathbf {x_{k}} )\mathbf {d} =-F(\mathbf {x_{k}} ),$

a następnie na podstawie obliczonego d wyznaczyć kolejne przybliżenie:

$\mathbf {x_{k+1}} =\mathbf {x_{k}} +\mathbf {d} .$

Warunek zakończenia obliczeń

Kryterium zakończenia obliczeń podobnie jak w metodzie jednowymiarowej może być (w zadanej normie $\|\cdot \|$ oraz dokładności $\epsilon$):

1. wartość funkcji dostatecznie bliska wektorowi zerowemu:

   $\|F(\mathbf {x_{k}} )\|\leqslant \epsilon$

2. dostatecznie mała odległość pomiędzy kolejnymi punktami w iteracji:

   $\|\mathbf {x_{k+1}} -\mathbf {x_{k}} \|\leqslant \epsilon$

3. kryterium mieszane (punkty 1 oraz 2 jednocześnie)

Zbieżność

Jeśli funkcja F:

• $F(\mathbf {x^{*}} )=\mathbf {0}$ dla pewnego $\mathbf {x^{*}} \in U,$
• pochodna $F'$ jest odwzorowaniem zwężającym i nieosobliwym,

to dla punktu startowego $\mathbf {x^{0}}$ będącego dostatecznie blisko x*, wielowymiarowa metoda Newtona jest zbieżna oraz zbieżność ta jest kwadratowa.

Pierwiastki wielokrotne

Przy rozwiązywaniu równań nieliniowych kłopotliwymi dla metody Newtona mogą być pierwiastki wielokrotne, dla których zbieżność algorytmu staje się liniowa. Dla takich przypadków metoda Newtona może być dużo wolniejsza niż inne metody rozwiązywania równań o zbieżności liniowej.

Aby zaradzić tego typu problemom, w praktyce stosuje się następujące podejścia:

• Dla układu równań – przeprowadzenie optymalizacji funkcji G (znalezienie minimum zadanej funkcji celu):

$\mathbf {G} (\mathbf {x} )=\langle F(\mathbf {x} ),F(\mathbf {x} )\rangle \in \mathbb {R} ,$

gdzie $\langle \cdot ,\cdot \rangle$ oznacza iloczyn skalarny dwóch wektorów.

• Dla równania nieliniowego – znalezienie pierwiastka odpowiedniej pochodnej $f$ lub przeprowadzenie minimalizacji funkcji $\left(f(x)\right)^{2}$

Zobacz też

Metody rozwiązywania równań nieliniowych:

• metoda bisekcji
• metoda Halleya
• metoda siecznych
• odwrotna interpolacja kwadratowa

Inne:

• metody numeryczne - m.in. lista metod numerycznych
• Joseph Raphson

Bibliografia

• Zenon Fortuna, Bohdan Macukow, Janusz Wąsowski, Metody numeryczne, Wydawnictwa Naukowo-Techniczne, Warszawa 2006, ISBN 978-83-7926-281-6.

Linki zewnętrzne

• Eric W.E.W. Weisstein Eric W.E.W., Newton’s Method, [w:] MathWorld, Wolfram Research [dostęp 2020-12-12]  (ang.).
• Równania nieliniowe na wazniak.mimuw.edu.pl