＞ペナルティーとかではないく、単にグーグル的なSEOパワーが足りないだけという意見があり

ペナルティーという話では無いです。
URLが脆弱なだけです。
被リンク付けを少ししてURLの順位が動くようでは、不動の1位表示は達成できません。

不動の1位表示URLや不動の1位表示に向かい評価が定まりつつある3位や4位付近にいるURLに被リンクを付けをしても検索順位が変動することは殆どありません。
被リンクを付ける度に順位が変動するという事は一言で言ってしまえば、そのURLの評価が定まっておらず「脆弱」だということです。
貴殿の言葉で表現致しますと、「各URLのSEOパワーが足りない」状態と言えます。

Googleで上位表示されないのはペナルティーなどでは無く、Googleで必要なSEOパワーが足りないからです。
Googleはごまかしの効かない検索エンジンだと一般に言われますが、その通りでございます。
SEOパワーが足りない状態で、いくら待てどもGoogle上位表示は達成できません。