Если оставить в покое спорные "правила" и руководствоваться простой логикой, допустим, имеем "вы" при обращении к нескольким собеседникам, и "Вы" при обращении к одному из них. Получим "уважительное" отношение к кому-либо одному, и "неуважительное" отношение к нему же, если он уже не один. Если никакого неуважения в обращении "вы" нет, и мы всё так же уважаем своих нескольких собеседников, то и уважения в обращении "Вы" ровно столько же. То есть "вы" = "Вы". Если всё же какая-то градация уважения присутствует, то получаем абсурд - уважаем человека, пока говорим с ним одним, но как только к нему кто-то присоединяется, наше уважение (к нему же) куда-то пропадает. И где больше уважения/вежливости - "Я вас уважаю", или " Я Вас не уважаю"?
Про себя скажу - прочитав за свою жизнь достаточное количество художеств. литературы и сравнительно недавно начав знакомство с интернетом, был неприятно удивлён злоупотреблением "Вы" по поводу и без. Да и вообще злоупотреблением заглавных букв в середине предложения/словосочетания. Разговор именно о переводах. Написание "Вы" в обращении к собеседнику в наше время никогда не было правилом, скорее, было только рекомендацией. Это похоже на то, как под видом "демократии" к нам припёрлись "господа". Тема достаточно обширная и местами болезненная.
По поводу "Сэр ор Мэм" - тут надо исходить из смысла конкретного слова (слов). Что/кто такое/ой "сэр" ("мэм")? По сути - вежливое обращение к мужчине/женщине. "Мужчина ор Женщина, Вы" - неужели не будет резать глаз? Неужели изменение двух букв всё искалечит?

Замечательно. Из заглавных букв будет именно то, что надо. Никакого лакейства и раболепия. Человек человеку - друг, товарищ и брат. © 

С "Сэр ор Мэм" я действительно перегнул, может быть. Но и этому есть объяснение.

По всем правилам, обращение к высшим чинам, например, к монархам, "Ваша Милость", "Ваше Почтение" и пр., или, даже, к прочим чинам "Герой СССР", пишутся с заглавной буквы. Даже в современном мире, обращение к судье "Ваша честь" пишется с заглавной. А вот по законам робототехники - хозяин всегда является кем то, вроде монарха. Отсюда следует, то, что "Сэр" и "Мэм" - это не титул. Это именно обращение, как к имени собственному.

Да и сам факт, что вместо "или" используется "ор" не наводит на мысль, что эта фраза не на русском, соответственно и читаться, по задумке, должна с акцентом, и писаться по правилам исконного языка?

А вот по поводу "вы" и "Вы" мне действительно стало жутко интересно. Кого бы я не спросил, из тех, кого знаю, включая брата, жену, маму, ее подруг, людей более старшего возраста, все говорят, что я прав. Уже не первый раз с этим сталкиваюсь. В старых книгах с классикой написано через раз - то с маленькой, то с большой буквы. В современных стали писать с маленькой. Влияние Лебедева что ли? И ведь были бы у него нормальные доказательства. Но нет, только криво написанная записулька, древних времен, когда печатные машинки были не у всех. Но вот отсюда вопрос - а чего тогда у писаря почерк такой кривой? Может эту записку вообще какой то сторож написал?

Всё это мне напоминает отмену буквы ё.

Хотя сейчас отмена этой буквы более актуальна, потому что она жутко вредна для программистов, ибо находится за пределом всех кодов стандарных символов, а в разных кодировках вообще с разым индексом. Это уже почти как иероглиф китайский, в мире программирования. Хрен прочитаешь, хрен обработаешь. Так что, я надеюсь на понимание и ни кто особо тапками за е/ё кидаться не будет. Это профессиональная болезнь)

P.S. Давайте еще и "ять" вспомним.

Ох уж эта молодёжь... Прогулявшая начальную школу. Уважение к человеку выражается чувствами, эпитетами и т. п., но никак не буквами. 1 или 2 по выбору. 1 вариант русский, 2 - на 50% забугорный.
Сэр или мэм, именно в том случае, используются только как вежливое обращение, не надо излишних фантазий.
Вероятнее всего, мы учились в разных школах. И у нас все были равны. Просто некоторые были чуточку ровнее остальных.

Только вот я не прогуливал, это было даже в учебниках написано. И только в последние годы все начали повально говорить, что это не нужно.

Вырезка из разъяснения от Института русского языка РАН им. В.В.Виноградова:
Ну и до кучи еще несколько справочников:


Как тут используется это обращение - мне лучше знать, я лично этот текст написал, в оригинале его вообще не было. Но раз уж пошла такая пьянка, сделаю заголовок полностью из заглавных букв.

Всегда удивляла инерция мышления переводчиков. "Сэр ор Мэм, Вы" - жуть какая-то. Сэр-ы, мэм-ы и вы-мы-ты-я-он-она-они - всё это рисуется с маленькой буквы, если не стоит в заглавии предложения. Не надо калечить родной язык забугорной безграмотностью.

"Вы" пишется с большой буквы, как форма выражения вежливости при обращении к одному конкретному лицу. Это, по моему, 2-3 класс школьного образования 
"Сэр" и "мэм" тут используются как шутка. Это обращение к единственному и бескомпромиссному "хозяину". В данном обращении эти слова - имена собственные.