Acharei Rabbim LeHatot

Balashon has a good post about Acharei Rabbim Lehatos and how Rashi gives a peshat against the halachic reading (though I would not say that he considers the halachic reading wrong, just a midrashic take in parallel to the peshat level).

At any rate, rather than considering "Acharei Rabim leHatot" as a directive to go after the majority, we can consider it a prohibition of perverting justice by following the majority. This reading follows the taamei hamikra, that is, the trup. Note how "Acharei Rabim leHatot" is not a separate directive but rather modifying the prohibition.

I will close by citing Shadal's take on this, and Shadal's take on Rashi's take on this:

דרשת רז"ל (סנהדרין ב' ע"א, ע"ב) אחרי רבים להטות שמצווה לפסוק הדין אחרי הרוב, אסמכתא היא, ואין ספק כי אין דרך לפסוק הדין אלא ע"פ הרוב, כי רחוק הוא שתהיה דעת כולם שווה ; אמנם המקרא הזה איננו מדבר בשופטים, אלא ביחיד הבא להעיד ; ורש"י ז"ל עזב דרשת רז"ל וביקש ליישב המקרא על פי פשוטו, אלא שפירש גם הוא הכתוב בדיין ולא בעד והוצרך לפרש על ולא תענה פירוש דחוק מאד ; ויש לתמוה עליו הרבה איך חשב שאם הנדון ישאל את הדיין על משפטו אין לדיין לענותו דבר הנוטה אחרי הרבים החולקים עליו, אלא יאמר לו הדין לפי מה שהוא לפי דעתו ; והלא זה דבר הגורם תקלות הרבה, והלכה רווחת היא במשנה (סנהדרין פרק ג' משנה ז') וממין לכשיצא א' מן הדיינים לא יאמר אני מזכה וחברי מחייבין, אבל מה אעשה שחברי רבו עלי, על זה נאמר הולך רכיל מגלה סוד ; ויותר יש לתמוה על בעל הסמ"ג שבלאו קצ"ה וקצ"ז העתיק דברי רש"י אלה ולא העיר עליהם דבר, וכן ר' אליהו מזרחי ואחרים לא העירו על זה כלום ; ותלמידי מוהר"ר מרדכי מורטארה אומר כי המשנה מדברת בסתם דיינים, כלו' בכשרים, שאין כוונתם להטות משפט, אלא מזכים ומחייבים כפי מה שהוא האמת והישר לפי ראות עיניהם, אבל רש"י מדבר בדיינים רשעים, כמו שאמר אם ראית רשעים מטים משפט. ותלמידי מוהר"ר משה הלוי עהרענרייך אומר כי לדעת רש"י אין הפסוק כולו אזהרה לאדם אחד, אלא לשני בני אדם, לא תהיה אחרי הרבים לרעות היא אזהרה לדיין שבאו בעלי הדין לפניו וחבריו רוצים להטות משפט, ולא תענה על ריב אזהרה לחכם אחר שאינו דיין או שאינו באותו ב"ד אלא בב"ד אחר, וכוונת רש"י שאם הנדון היוצא מב"ד חייב יבוא אצל חכם אחר וישאלהו על אותו המשפט ששפטוהו אותם הדיינים, אין לו לשאת להם פנים, אלא יאמר את המשפט כאשר הוא.