matlab - 最速下降求解具有希尔伯特矩阵的线性系统

Question

我正在使用最速下降 方法来计算具有 5x5 希尔伯特矩阵的线性系统的解。我相信代码很好，因为它给了我正确的答案。

我的问题是:

1. 我认为需要太多迭代才能得到正确答案。我相信我可能错过了算法中的某些内容，但我现在不确定是什么。

2. 我不确定这是否是实现该算法的最有效方法，此外，选择哪个“tol”有点令人困惑。

任何关于这些的见解都将不胜感激(尤其是 1.)。谢谢!

% Method of Steepest Descent with tol 10^-6
h = hilb(5);                            %Hilbert 5x5 matrix
b = [1;1;1;1;1];                        %solution matrix
solution = zeros(d,1);                  %Initialization 
residual = h*solution - b;
tol = 10^(-6)
count = 0; 

while residual'*residual > tol;
    roe = (residual'*residual)/(residual'*h*residual);
    solution = solution - roe*residual;
    residual = h*solution - b;
    count = count + 1;
end

count 
solution 


%Method of Steepest Descent with tol 10^-12
solution = zeros(d,1);
residual = h*solution - b;
tol = 10^(-12)
count = 0; 

while residual'*residual > tol;
    roe = (residual'*residual)/(residual'*h*residual);
    solution = solution - roe*residual;
    residual = residual - roe*h*residual;
    count = count + 1;
end

count
solution

%another_solution = invhilb(5)*b           %Check for solution

Answer 1

看起来您正确地实现了该算法(最速下降/梯度下降与精确线搜索以最小化凸二次函数)。

收敛缓慢是因为问题病态:您考虑的希尔伯特矩阵的条件数大于 400000。已知梯度下降在问题病态时很慢。 p>

改为考虑条件良好的问题，例如通过将恒等式添加到希尔伯特矩阵 (h = hilb(5)+eye(5))，相同的代码仅在 7 次迭代后终止(以及该问题的条件数矩阵小于3)。