＞グーグルではヤフーほど中古ドメインのパワーが重視されておらず、またSEO的な評価ポイントが違う。
よって、僕のサイトはグーグル的なSEOパワーが単純に足りていない

おっしゃる通りです。
あとは、「Google検索とYahoo検索では1本の被リンクの重みが異なる」という点も大きな影響を与えております。
以前、私は貴殿のSEOを「SEOが上手ですね」とお伝えしたと思います。
あれは、「YST SEOが上手ですね」という意味です。

YSTというロボットが定義する「自然リンク」の枠に見事に嵌まる対策をしてらっしゃったので、そのように申し上げました。
YSTはGoogleと異なり自然リンクの枠が狭いため、Googleで評価されるリンクの多くがYSTで人工リンク認定されます。
ゆえに、極少の被リンクでもYSTでは上位表示が可能なのです。

さらにGoogleとは異なりYSTは中古ドメインを高く評価する事も、貴URLのYST（現Yahoo検索）の上位表示にプラスに働いております。

＞ペナルティーとかではないく、単にグーグル的なSEOパワーが足りないだけという意見があり

ペナルティーという話では無いです。
URLが脆弱なだけです。
被リンク付けを少ししてURLの順位が動くようでは、不動の1位表示は達成できません。

不動の1位表示URLや不動の1位表示に向かい評価が定まりつつある3位や4位付近にいるURLに被リンクを付けをしても検索順位が変動することは殆どありません。
被リンクを付ける度に順位が変動するという事は一言で言ってしまえば、そのURLの評価が定まっておらず「脆弱」だということです。
貴殿の言葉で表現致しますと、「各URLのSEOパワーが足りない」状態と言えます。

Googleで上位表示されないのはペナルティーなどでは無く、Googleで必要なSEOパワーが足りないからです。
Googleはごまかしの効かない検索エンジンだと一般に言われますが、その通りでございます。
SEOパワーが足りない状態で、いくら待てどもGoogle上位表示は達成できません。

検索順位の変動を避けて恐る恐るぽつぽつの被リンク付けを行い、貴URLが脆弱なまま上位表示を達成しても、その後一個被リンクが付くたびに順位が動いてしまいますので怯えながらの対策になると思います。
脆弱なURLで見かけ上、上位表示できていてもGoogleのアップデートや被リンクが追加で数本付いた程度で順位が上下してしまってはSEOに成功しているとはいえません。
弊所としては、お客様のURLの評価を安定させ強固にする事を意識して対策しております。

各URLが強固になればなるほど、被リンク付けでの順位変動の振り幅は小さくなってきます。
最終的には1位や2位で固定化され、ビクともしないURLになります。
少なくとも過去に弊所が担当してきた1位表示達成URLではそのような流れで不動の1位表示に辿りついております。

ヒーリング治療のプロのページ
遠隔治療ア

家屋やビルの不用品を一棟・一軒まるごと買い取る買取センターのHP
出張買取東京ウ

貸金問題の解決コンサルタント事務所のページ
債権回収オ

歯医者さんのページ（虫歯・予防・矯正など）
熊谷市歯科医院イ
港区矯正歯科エ
立石日曜診療カ