Are there limitations to Hashem's omniscience? His hashgacha?

Right before the destruction of Sodom:

כ וַיֹּאמֶר ה', זַעֲקַת סְדֹם וַעֲמֹרָה כִּי-רָבָּה; וְחַטָּאתָם--כִּי כָבְדָה, מְאֹד.	20 And the LORD said: 'Verily, the cry of Sodom and Gomorrah is great, and, verily, their sin is exceeding grievous.
כא אֵרְדָה-נָּא וְאֶרְאֶה, הַכְּצַעֲקָתָהּ הַבָּאָה אֵלַי עָשׂוּ כָּלָה; וְאִם-לֹא, אֵדָעָה.	21 I will go down now, and see whether they have done altogether according to the cry of it, which is come unto Me; and if not, I will know.'

What does this mean "I will know"?! And what is meant that Hashem needs to go down to check whether it is so or not?! This is mystifying!

Rashi is troubled by this, and so says:

I will descend now: This teaches judges that they should not decide capital punishment cases unless they see it [i.e., they must go to the site of the crime and investigate the matter.]- [Divrei David]) Everything is as I explained in the chapter dealing with the dispersion (Tan. Noah 18). Another explanation: I will descend to the end of their deeds (to fathom the results thereof). - [Be’er Mayim Chayim]).

ארדה נא ואראה: למד לדיינים שלא יפסקו דיני נפשות אלא בראיה, הכל כמו שפירשתי בפרשת הפלגה (לעיל יא ז). דבר אחר ארדה נא לסוף מעשיהם:

and also

which has come to Me, they have done: And [if] they remain in their state of rebellion, I will wreak destruction upon them, but if they do not remain in their state of rebellion, I will know what I will do, to punish them with suffering, but I will not destroy them. Similar to this we find elsewhere (Exod. 33:5):“But now, leave off your ornament from yourself, so that I may know what to do to you.” Therefore, there is a pause marked by the cantillation sign of a פּסִיק (|) between עָשָׂוּ and כָּלָה, in order to separate one word from another.

הבאה אלי עשו: ואם עומדים במרדם כלה אני עושה בהם. ואם לא יעמדו במרדן, אדעה מה אעשה להפרע מהן ביסורין ולא אכלה אותן. וכיוצא בו מצינו במקום אחר (שמות לג ה) ועתה הורד עדיך מעליך ואדעה מה אעשה לך, ולפיכך יש הפסק נקודת פסיק בין עשו לכלה, כדי להפריד תיבה מחברתה.

Thus, though Hashem of course knows, he still must go through the motions of a formal investigation, because is the right order of judgement. And it is not to see whether they have done in the past, but rather whether they will stand in their evil ways and will continue into the future. Thus, He is giving them one more chance.

Ibn Ezra also gives this some thought. First he cites others, who say:

יח, כא]

ויש אומרים:

הכצעקתה הבאה אלי -

א"כ עשו - אעשה בהם כלה.

ואם לא אדעה -

ארחם אותם.

וכן יפרשו: וידע אלהים

Thus, אדעה itself does not imply sudden knowledge.

But then he writes:

ועל דעתי פירושו: אראה אם עשו כולם כרעה הזאת, כי האמת שהכל ידע כל חלק, על דרך כל. ולא על דרך חלק והעד כי זה הפירוש הוא האמת ואם הוא סוד גדול שאמר אברהם: האף תספה.

And according to me, its interpretation: I will see if all of them do like this evil. For the reality is that the All {=the Sechel HaPoel, Active Intellect} knows everything in a general manner, and not a particular manner. And the proof that this explanation is correct, even if it be a great secret, is that Avraham said Haaf Tispeh {implying that Hashem might be killing the righteous with the wicked, sweeping them away without considering the merit of individuals.}

Much of the translation above is my expansion, in curly brackets. Perhaps it is interpretable in other ways. But at least at first glance, I believe that what Ibn Ezra is saying is that Hashem limits the way He typically interacts with, and views the world. There is a difference between knowing the general overview and the particular parts. Just as Avraham said, in arguing about Sodom,

כג וַיִּגַּשׁ אַבְרָהָם, וַיֹּאמַר: הַאַף תִּסְפֶּה, צַדִּיק עִם-רָשָׁע.

23 And Abraham drew near, and said: 'Wilt Thou indeed sweep away the righteous with the wicked?

Thus, it is possible that there would be tzadikim among them who hadn't been considered, who would have been swept away in the general judgement. And Hashem will now see, in response, whether there are indeed tzaddikim, and will either save the entire town on their merits or else save the individual (such as by Lot).

This is not to imply lack of ability to Hashem, chas veshalom, but rather the way He chooses to interact with the world. And to investigate, He needs but focus His Divine Attention to the matter. Ibn Ezra is not saying, I am pretty certain, that the angels are their to investigate, or that some Divine Avatar needs to go down in person to check up on matters.

Tzafnas Paneach, a supercommentary on Ibn Ezra, writes as follows:

ש[ועל דעתי שיהיה פירושו ואראה אם עשו כלם כרעה

הזאת , ואם לא אדעה] . פירוש: עתה אני רוצה לרדת כדי להתבונן

ולראות אם עשו כלם כמו זאת הרעה כדי שאביא עליהם עת פקודתם. אבל אם

לא עשו ככה אשגית עליהם מהיום הזה והלאה על פי הרוב. אם הרוב צדיקים תנצל

כל העיר, ואם הרוב רעים יאבדו כלם. ואם יש שם צדיק גמור ינצל לבדו בצדקו

כדברי יחזקאל, נח, דניאל ואיוב. ויתכן לפרש דביריו בדרך אחרת,והיא זאת,

ואראה אם עשוכלם כרעה הזאת אף על פי שלא אדעה כלומר אראה ואשגיח בפרט

אף על פי שאינני משגיח תמיד בפרטים. ולפי דעתי זאת היא דעת ר׳ אברהם.
ש[ כי האמת שהכל ידע כל חלק על דרך כל ולא על דרך חלק], פירוש: כי

השכל הפועל שנקרא כל יודע כל הנמצאים בעולם השפל ומשגיח עליהם

בדרך כלל, רצה לומר שהוא משגיח על כל המינים שיעמדו תמיד ולא יאבדו.

ואינו משגיח על הפרטים. ועל זה אמר ר׳ אברהם במקומות רבים כי חכמי לב דמו

הפרטים לצל עץ עומד על מים רצים תמיד.

ש[ והעד כי זה הפירוש הוא האמת ואם הוא סוד גדול שאמר אברהם האף תספה] .ש

פירוש: בפרשת בראשית בפסוק והאדם ידע (בראשית ד. א׳) הודעתיך מה שפירש בתחלת

•פירוש קהלת . ומשם תבין דעתו בכאן. ועוד אוסיף לך ביאוד. אמר כי אם תרצה

לדעת שזה הפירוש הוא האמת אף על פי שהוא סוד גדול יביא לך ראיה מפסוק

האף תספה צדיק עם רשע (י־ח. כ"ג) כי מה שכתוב ארדה נא ואראה הנה ממלת

נא משמע כי עתה ישגיח עליהם ועד עתה לא היה משגיח. ועוד שאם רובם

רשעים יביא על כלם עת פקודתם. ועת הפקודה אבארהו לך בפרשת כי תשא

בפסוק וביום פקדי (שמות ל"ב. ל"ד). והנה הצדיקים יאבדו עם הרשעים בעבור היות

הרוב רשעים. ובעבור זה שב אברהם אבינו לאמור לשם ית׳ אתה שופט כל הארץ

איך אמרת שתשגיח עליהם מעתה. וכי עד עתה לא היית משגיח עליהם •ועוד כי

לא תשגיח עליהם בפרט כי אם בכלל. ואם זה אמת הנה הייתי מכלה צדיק עם

רשע. כי אם תפקוד על הגוי ועל הממלכה לא יבחין המלאך המשחית בין צדיק

לרשע. וזה חלול שמך הקדוש שישמעו ברואיך כי החכמים ימתו עם הרשעים והיה

כצדיק כרשע. ומה תועיל צדקת הצדיק. ועל זה השיב לו השם אם יש צדיקים

נמורים בתוך העיר אפילו חמשים תועיל צדקתם להם גם תועיל לכל אנשי העיר

שינצלו בעבורם בעבור היותם דבקים בו כי הוא יודע את הדבקים בו ומשגיח עליהם,

כי בהדבקים ישובו להיות כל ויוכל כל אחד ואחד מהם לקבל כח מהשם כמו

הכח שיקבלו המינים שהם הכללים אך אם אינם צדיקים גמרים לא תועיל זכותם

לבטל הגזירה כי אם בהיות רוב העיר צדיקים. ובעבור כי לא היו צדיקים כלל

בסדום על כן היו תלויים במזל ולא היה משניח השם בהם בתחלה ועל כן אמר

ארדה נא ואראה כאשר פירשתי

I don't know that I agree with all of it, but certainly that it has to do with levels of Hashgacha, and that Hashem was not prior to this looking closely at the conduct of the people of Sodom.

Mechokekei Yehuda summarizes Ibn Ezra's position as:

הח׳ ז׳׳ל לא שלל בזה

ידיעת החלק מידיעת ה׳ , כי הכל יכול לא יבצר ממנו

מזימה , אבל ידיעת ה׳ והשגחתו הוא רק על כללות

הברואים כפי חק ומשפט אשר שם לקץ ולגבול טבע האשים

וברצות ד׳ דרכי איש פרטי לרוממהו ולנשאהו להיות לנס

עמים ולתכלית הכלליות נאמר עליו לשון ידיעה

כי הפרט יצא אז מן הכלל, ושב החלק לכל, ובפירושו

ש(לתהלים א ו) כתב ,אין ספק כי השם הנכבד יודע

הכללים והפרטים, הכללים הם נפש כל חי לכל

הברואים, והפרטים הם כל מין ומין בפני עצמו, או

אפילו כל בריה ובריה בפני עצמה, כי מעשה ידיו כולם

רק דעת הפרע לכל אחד בדרך כלל הן לצדק, והן

לרשע ידענו, ולעולם ידע אומנות,הנודעות, ובעבור

שתעמודנה נפשות הצדיקים ותהיינה קיימת לעולם ע״כ

ידע אותם״

והנה למעלה (ד, א) בפי ,והאדם ידע,

פי׳ הח' ז"ל כי מלת טוב כלל ורע חלק, כי מלת

טוב מרמז על הכללים שהם המינים, בעבור שהם שמורים

ועומדים , ומלת רע רומז על הפרטים שהם אובדים

ונפסדים, והפרט הוא החלק , ולפייז יפרש בעל א״י

שהכל ידע כל חלק , ר״ל שהשם יודע כל הנמצאים בעולם

השפל, ומשגיח עליהם בדרך כלל, ר״ל שהוא משגיח על

כל המינים שיעמדו תמיד, ולא יאבדו, ואינו משגיח

בפרטים, וכן כתב הח׳ ז״ל(יסוד מורא שער העשירי).ש

״כי השם לבדו בורא הכל ויודע חלקי הכל, בדרך כל:

כי החלקים משתנים" ,׳ועיין בפי׳ (לתהליפ עג יב)ש

שכתב שם וז"ל ״הטעם שצדיקים יודעים דעת אמת,.

שיש אלוה נשגב מדעת אדם , והיא חכם לב שידע-

הכללים שהם עומדים והחלקים שהם הפרטים

הם משתנים בכל עת״ :

And further writes about the sod gadol of Ibn Ezra:

כלומר אחר שהוא יודע כל חלק , למה תכלה

האף אותם , אחר שידעת הצדיקים

שבהם

and further, regarding the proof from HaAf Tispeh:

פי׳ כי אם לא תשגיח עליהם בפרט כי

אם בכלל, הנה היית מכלה צדיק אם רשע

Thus, of course Hashem has the ability, but this is a self-imposed limitation of how He interacts with the world, one which he can choose to override in particular cases.

However, Avi Ezer will have none of it. He does not like those heretics who read their own ideas into Ibn Ezra and make him say such kefirah, so that they can point to him as a solid basis. And he even points out a contrary Ibn Ezra, which demonstrates that Ibn Ezra couldn't have meant this here.

ש(ואם לא אדעה

גו'). כבר צוחו קמאי על דברי הרב שנתן מקום לטעות בדבריו. גם

אנשים אשר מבעטים אורחותם למדו מתוכה לשקר. וכאן עלה להשחית

דבריו . ותולין דבריהם הנשחתים באילן גדול . ע״כ אמרתי עת לדבר

ולפרש. שמעו נא וראו . כי אין רעיה , ודעת כוזבת במחשבותיו .

הביטו בספר (קהלת אי) וז״ל היוצר לבם יודט ההלל וסרט. [עיין

בדבריו (תהלים.) כי יודע ה׳ צדיקים) עתה אשכילך בינה ואמשול

לך משל. כי גביע כסף מחובר מחלקים דקיס לאין מספר. וגביע

שלם הוא כלל כל החלקים כילם. ואם נחלק לחלקים נקראו כל אחד

מהס חלק. ואם הגביע שלם אז ידעים כולם שהיא גביע מחובר .

מחלקים. ואם נשבר לשנים. אף שאבד שם הכלל. ושם שני חלקים

•יוכר קצת במראה ובתבניתו שהיה מקדם בהתחברו יחדיו גביע

שלם. ואם נשבר לארבע חלקים . הרואה חלק רביע מהן. אם הוא

אומן או יודע בין. מבין ג״כ את הכלל שהיה גביע. אולם אם נשבר

לחלקים דקים. אין איש בארץ אשר ראה חלק מהן כחוט השערה.

או גדל מעט מנהם. ויבן את הכלל. שאלו חלקים היו מחוברים

בדרך כלל והיה גביע בראשונה. ברם לא ידע. חס היה גביע או

קערה או סכין או שאר דבר. הרי לפניך דליתאינש ביבשתא, אשר

רואה חלק ויודע כללות הדבר. ועתה אשכילך בינה. אם אנו רואים

איש אחד נוהג במדה טובה לעינינו או עשה מצוה אחת. אין אנו

יודעים כללית האיש הלזה . אם תמים היא במצוה זו בלבד או גם

בשאר מצוות. לא כן אנשי ביתו הסובבים סביביו תמיד. המה רואים

חלקים יותר בסתר ובגלוי, אך המה ידעו לשפיט יותר כללית האיש ההוא.

כי בראות חלקים הרבה. ושפוט השכל להכיר את הכלל.

לא כן הקב׳׳ה בוחן לבות. יודע כל חלק בדרך כלל.

כי היא בוחן לבות. ילא על דרך חלק. ועתה נחקרה נא. שאמר אברהם האף

תספה וג' כאלי מוחלט אצלו שיש שם צדיקים בבירור ואמאי לא אמר אולי יש בם

צדיקים יצילו המה את עצמם . אולם אברהם אבינו ע״ה בצדקתו ובתמימות

לבו ראה או שמע כמה אנשים אוחזים מדה אחת טובה לעיני השמש

וחשב זאת לוודאי שהמה צדיקים לפי ראות אדם כאשר הקדמנו. כי האדם ידע כל חלק כדרך פרט

ולא ידע כללות הדבר. אבל הקב"ה ידע בדרך כלל כי כל מעשיהם תוהו

Thus, Avraham was looking with his limited perspective, and thought based on seeing only parts of these people's actions that there were tzadikim. But Hashem, when he sees the parts, sees them as part of an overall whole, and can put it into perspective. And so, when Avraham said "HaAf Tispeh", this is from Avraham's limited perspective, that he thought that there would be tzadikim in there who were swept up.

While I admire Avi Ezer's creative streak, I seriously doubt that he is correct here. He repeatedly and creatively reinterprets Ibn Ezra's words in order to eliminate any seeming hashkafic problems. And here, Ibn Ezra is fairly mainstream for a Rishon, though it is not necessarily "frum" by modern standards.

The "contradiction" he found with Ibn Ezra's peirush in Kohelet does not convince me that the standard interpretation of Ibn Ezra is incorrect. Indeed, other suoercommentators make mention of this commentary in Kohelet. And the answer is either that this is not what Ibn Ezra meant by perat over there (rather, species), or else that of course Ibn Ezra does not think Hashem incapable of paying attention to the perat, but rather that this is the way Hashem chooses to typically interact with His world. So his disproof, before reinterpretation, I do not find convincing.

What about his reinterpretation? Well, he is exceptionally creative and skillful, and Avi Ezer manages to make all of Ibn Ezra's words fit. This could be evidence that he is correct, or else just evidence of Avi Ezer's brilliance. But if the motivation for reinterpretation is absent, I would not adopt the reinterpretation.

But it is more than that. All the words fit, and Ibn Ezra is saying a frum thing about how Hashem knows everything. But it doesn't work in context. The pasuk had just stated, on a simple level that Hashem said that He wanted to know whether their evil was as the cry that reached Him; and if not, He would know. And others interpreted "I will know" as that He would have mercy. And before the quasi-cryptic language, Ibn Ezra states אראה אם עשו כולם כרעה הזאת, written in future tense and with the word אם, "if". And this after erda na. The reinterpreted Ibn Ezra makes a statement opposite to what we might simply deduce from the verse, but it does not explain the difficulty raised by the Biblical text. What do the words in the pasuk mean?! I could come up with an forced explanation, but in the end, I don't believe the reinterpretation to be justified, think the contradiction is no contradiction, think the reinterpretation stems from Avi Ezer's discomfort with the ideas, and think that with the reinterpretation, Ibn Ezra no longer is explaining the pasuk.

All in all, I would side with the other supercommentators on this one.