Редизайн Siri і додавання функцій багатозадачності в iOS

1. «Привіт, Siri, допоможи мені»
2. «Привіт Siri, я хочу ...»
3. «Привіт, Siri, прокрути трохи вниз»
4. Apple Maps
5. Live Notifications або багатозадачність мобільних пристроїв
6. На закінчення

Після роботи над редізайном Youtube і публікації своєї концепції для macOS , Я вирішив, що повинен подбати про одну з моїх найулюбленіших платформ - iOS для iPhone.

Ще в 2009 році навряд чи хто-небудь з мого оточення знав, що таке iPhone. Тоді він ще не досяг берегів Франції. Вперше я побачив його на власні очі в ресторані в моєї тітки (так, тієї, у якій був величезний iMac в вітальні ). Вона привезла його з собою, і я провів весь вечір з ним. Я пам'ятаю, як мене вразила чутливість екрану і наскільки природними були жести мультитач. До тих пір сенсорні екрани означали резистивні технології (знаєте, ці сенсорні екрани, де вам доводилося натискати дуже сильно, щоб що-небудь зробити), і це явно не допускало такого плавного досвіду. Повернувшись додому, я благав батьків купити мені iPhone, а через кілька місяців я з радістю отримав iPhone 3G на день народження.

Цьому телефону не вистачало ключових функцій, таких як відеокамера, і відправка MMS, але мені було все одно: призначений для користувача досвід набагато випереджав конкурентів, а в App Store було багато потенціалу на майбутнє.

Майже десять років по тому, iOS отримала багато поліпшень. І Apple щороку розробляє нову версію з новими функціями. На цей раз мені захотілося уявити оновлення, яке б обрадувало особисто мене, якби воно з'явилося на WWDC, і ось, що я придумав.

Дозвольте представити вам iOS Mogi.

Це Могти - красива рибальське село в околицях Нагасакі в Японії. Я зробив цю фотографію в минулому році

«Привіт, Siri, допоможи мені»

Перша частина цієї концепції зосереджена на Siri. Тут ідея полягає не в створенні нових команд, а в тому, щоб інакше відображати існуючі голосові запити, які добре працюють (наприклад, «Знайди мені хороший ресторан поблизу» або «Покажи фотографії Японії, які я зробив у минулому році»), щоб вони стали ще корисніше для користувача.

В iOS Mogi Siri була спроектована на основі концепції, яку я називаю паралельної допомогою. Ідея полягає в тому, щоб голосовий помічник був ненав'язливим (він не буде займати весь екран, як він робить сьогодні), контекстно-залежним і міг робити щось для користувача в фоновому режимі, поки той зайнятий чимось ще.

Оскільки зображення значно зрозуміліша слів, ось дуже простий приклад:

Використання Siri в повідомленнях

Під час використання додатків Siri приймає форму повідомлення, щоб бути менш нав'язливою (якщо викликати її з екрану блокування або на головному екрані, вона буде відображатися на весь екран).

Siri в iOS Mogi

У наведеному вище прикладі я прошу Siri показати мені фотографії Японії, оскільки хочу відправити фото моєму другові Яннік. Як тільки запит буде виконаний, результат відображається в повідомленні Siri, тому я можу продовжувати робити те, що роблю, не перериваючись. Я можу свайпнуть вниз по повідомленню, щоб побачити більше, і вибрати фотографії для відправки.

Вибір фото перед їх відправкою

Або я можу безпосередньо перетягнути зображення з розширеного повідомлення в додаток нижче (нарешті, вносячи вклад в API перетягування на iPhone):

Перетягування фотографії з Siri в додаток «Повідомлення». Щоб скасувати перетягування, перетягніть об'єкт на межі екрану

Якщо воно не використовувалося якийсь час, повідомлення стискається до верху екрану:

стиснення

І можна знову відкрити його, змахнувши вниз екрану (ми повернемося до нього пізніше):

Відкриття Siri знову. З'явиться останній запит

Що дійсно круто в новій Siri, так це те, що отримані результати можуть бути легко використані в іншому додатку:

При перемиканні між додатками результат запиту залишається доступним, тому його можна використовувати знову

Я вважаю, що проектування ненав'язливою Siri має багато випадків використання і може реально виділитися на тлі конкурентів завдяки глибокій інтеграції в ОС. Ось кілька прикладів, чого можна було б досягти за допомогою нової Siri:

У відповідь на «Знайди ресторани поблизу». Торкніться міхура для отримання додаткової інформації та виділіть його, щоб поділитися ним. Свайпніте, щоб побачити інші ресторани поблизу Проактивний Siri. Якщо Siri виявляє адресу або визначає, що ви спізнюєтеся, вона з'являється і дозволяє вам робити дії. У цьому випадку натисніть повідомлення, щоб відправити повідомлення Крейгу, або смахніте повідомлення вниз, щоб переглянути варіанти. Екран дії дозволить користувачеві вибирати між улюбленими додатками для обміну повідомленнями

І навіть більше. В iOS Mogi можна попросити Siri показувати сторінки з програми, працюючи в іншому додатку. Так, наприклад, я можу писати лист і хочу додати картинку, яку один відправив мені в iMessage. Ось як це виглядало б в iOS Mogi:

Відкривайте розмову, коли пишіть електронного листа, завдяки Siri

Це початок справжньої багатозадачності на мобільному пристрої, і я думаю, що вона більш пристосована до мобільних обмеженням, ніж просто вертикальний розподіл екрану на 2.

«Привіт Siri, я хочу ...»

Знаєте, як іноді дратує, коли ви намагаєтеся відправити повідомлення за допомогою Siri, і в кінцевому підсумку берете свій телефон і набираєте текст? В iOS Mogi, замість того, щоб повністю покладатися на Siri, щоб зробити щось за вас, ви можете попросити її допомогти вам впоратися швидше. Більше не доведеться блукати в інтерфейсі, просто почніть свою пропозицію з «Я хочу ...», і Siri дозволить вам зробити це, не відриваючись від поточного завдання (в iOS Mogi то, що ви робите, дійсно дорогоцінне).

Набір повідомлення Яннік, під час написання електронного листа

І це працює прямо з екрану блокування:

Відповідаю Яннік з екрану блокування за допомогою Siri

«Привіт, Siri, прокрути трохи вниз»

Оскільки тепер Siri абсолютно не нав'язлива, з'являються нові варіанти її використання. Один з них - дії Siri (Siri actions).

Дії Siri в основному втілюють в життя будь-які сенсорні жести в голосові команди. Від тапа до скролла все тепер можна виконувати використовуючи виключно голосові команди. Тому я можу, наприклад, попросити Siri прокрутити список моїх альбомів і відкрити High as Hope від Florence + The Machine.

Навігація по Apple Music за допомогою Siri

Елементарні варіанти використання, подібні до цього, раніше були неможливі, оскільки Siri займала весь екран і не розуміла контексту. Тепер, коли я пишу електронного листа, я можу на ходу попросити Siri змінити одержувача, змінити підпис або навіть змінити стиль, поки пишу лист:

Редагування листи на ходу за допомогою Siri

Думаю, що це був би величезний крок вперед, зокрема для людей з обмеженими можливостями. Дії Siri спростили б їм навігацію по ОС. Навіть для інших користувачів, думаю, це було б дійсно корисно. Наприклад, коли руки зайняті, при приготуванні їжі, або просто для полегшення виконання деяких завдань, що повторюються (як видно вище в додатку «Пошта»).

І все може піти ще далі завдяки ARKit 2, який виявився досить точним, щоб відстежувати рух очей (але давайте поки не будемо ускладнювати нашу концепцію):

Я вважаю, що дії Siri дуже узгоджені з початковим підходом Siri, який повинен дозволити користувачам виконувати прості дії за допомогою голосу. Зробивши Siri ненав'язливою, ми можемо зробити крок вперед.

Дії Siri також приносять з собою нову здатність Siri: збереження елементів з усіх програм, щоб використовувати їх в іншому. Відкрийте фотографію і скажіть: «Зберегти цю фотографію», щоб Siri її зберегла.

Попросіть Siri зберегти елементи, і вона збереже їх для вас

Відкрийте інший додаток і перетягніть фотографію з повідомлення Siri в додаток:

Перетягування збережену фотографію в Medium

Це також працює для копіювання-вставки:

Коли контент копіюється звідкись, він з'являється в повідомленні Siri, тому його можна легко використовувати в іншому місці. Змахніть вниз по повідомленню, щоб переглянути всі попередні збережені матеріали, такі як текст, зображення або електронні листи

Просто тапніте, щоб вставити текст в поточному додатку, в якому знаходиться курсор. Ви також можете перетягнути контент куди захочете:

Вставка вміст за допомогою програми «Нотатки» в Medium за секунду завдяки Siri

Ви можете попросити Siri показати вам всі ваші збережені елементи сказавши: «Покажи мені все збережені елементи»:

Просто скажіть: «Покажи мені мої збережені елементи», і Siri покаже їх вам. Ви можете перетягнути їх в додаток нижче або доторкнутися до них для редагування перед використанням

Коли збережені елементи використовуються в іншому місці, вони зникають з цього списку.

Ось така ось нова Siri. А що, якби ми застосували ті ж принципи ненав'язливою багатозадачності до інших областей операційної системи? Зрозуміло, нові жести і візуальний код можуть бути застосовані будь-де. Як ми можемо це використовувати? Перш ніж заглибитися в цю ідею, давайте подивимося, чи можемо ми поліпшити досвід в тій галузі, де я особисто витрачаю багато часу: Apple Maps.

Apple Maps

Не кидайте в мене помідори, але мені дійсно подобається додаток «Карти» від Apple. Хоча деякі з його даних можуть бути не настільки надійними, особливо тут, у Франції, я знаходжу для користувача досвід і інтерфейс дуже чудовим. «Ящик» внизу, представлений в iOS 10, коли додаток було перероблено, є блискучою ідеєю. Не дивно, що ми стали помічати, як він з'являється в інших додатках, наприклад, Lyft.

Однак те, що мене турбує час від часу - це відсутність розуміння контексту, особливо при використанні транспортних систем. Більш конкретно, коли я їду по лінії метро, ​​і намагаюся отримати нові напрямки, програма «Карти» не знає, що я застряг на цій лінії і дає мені вказівки, засновані виключно на моєму поточне місцезнаходження, в той час, як воно повинно засновувати обчислення на мою поточного розташування з урахуванням поточної гілки метро. Дуже часто я отримую вказівки від початкових точок, які недоступні звідти, де я перебуваю на даний момент. З цієї точки зору навігація по Apple Maps стає марною.

Зрозуміло, для Apple Maps повинні бути способи визначити, яку лінію метро я використовую в даний момент. Схема метрополітену відома Apple Maps. Тому додаток може просто перевірити мою позицію і порівняти її з траєкторією лінії. Як тільки алгоритми визначать, що я їду, скажімо, на лінії Кейо в токійському метро, ​​ось що станеться:

Коли Apple Maps виявляє, що користувач знаходиться на лінії метрополітену

Додаток може запитати користувача, чи дійсно він знаходиться на лінії Кейо. Запит може бути відхилений шляхом свайпа вниз або, якщо вказана правильна лінія, але не напрямок, можна гортати вліво або вправо до тих пір, поки не буде знайдено правильне напрям. Як тільки користувач підтвердить лінію, на якій знаходиться, Apple Maps розрахує нові напрямки на основі цієї інформації:

Як тільки лінія буде підтверджена, маршрути будуть розраховані з використанням лінії метро в якості відправної точки

3D Touch натискання по маленькій чорній кнопці, щоб включити лінійний вид гілки метро з вашим становищем в реальному часі:

Лінійний вигляд гілки метро з вашим становищем в реальному часі

Чому я раптово заговорив про Apple Maps і яким чином це узгоджується з попередньою частиною статті, ви можете запитати? Ну, ось в чому справа: iOS не вистачає способів інформувати користувача про речі, які відбуваються зараз. Думаю, що користувачі хотіли б легко відстежувати свій маршрут, роблячи щось ще (наприклад, грати або читати в метро), і вони також повинні мати можливість швидко повернутися до Apple Maps (або їх улюбленому навігаційного додатком) без необхідності відкривати App Switcher або повернення на домашній екран.

У відповідь на цю проблему дозвольте мені представити вам Live Notifications.

Live Notifications або багатозадачність мобільних пристроїв

Перш за все, давайте звернемо увагу на те, як iOS намагається інформувати користувача про те, що відбувається у фоновому режимі.

Ось таймер:

Під час телефонного дзвінка / дзвінка в Facetime:

Ось навігації по картах:

Так, це екран блокування. Це безперечно схоже на хак. Чому сторонні додатки, такі як Google Maps або Waze, також не можуть контролювати екран блокування?

Коли телефон використовується в якості точки доступу:

Коли записується екран або пам'ятка:

І ... ось і все (я не додав музичний програвач в цей список, так як він обробляється трохи інакше, і я не бачу причин його змінювати).

Як щодо того, коли Uber в дорозі? Коли повинні доставити їжу? Коли відео відтворюється на Youtube або Netflix? Або коли ... ми використовуємо транспорт і нам потрібно легко відстежувати маршрут? (?)

Добре, що Apple зробила телефонні дзвінки або маршрути програма «Карти» легкодоступними (в рядку стану або на екрані блокування). Однак, способи зробити це надто обмежені (обмежені декількома нативними додатками, і ніяка дія не може бути запущено без відкриття відповідного додатку), вони повинні бути доступні в будь-якому місці і в будь-який час без переривання поточного завдання. А деякі з них візуально не узгоджені і добре інтегровані в систему. Якщо коротко, вони більше схожі на швидке рішення, яке зламує систему, ніж справжню функцію, і має бути краще і більш елегантне рішення для вирішення цих та інших питань (воно також має бути відкрито для сторонніх додатків!).

Live Notifications були розроблені для вирішення цієї проблеми.

Давайте розглянемо наш попередній приклад, коли користувач, який читає книгу в додатку iBooks, знаходиться в метро. Ось як він міг би поглянути на поточний маршрут:

Перевірка маршруту під час читання завдяки Live Notification. Через деякий час без взаємодії синя смужка зникає. Крім того, назва програми в Live Notification можна змінити, щоб більше дізнатися про ситуацію (тут «Карти Apple» були змінені на «Знаходження на лінії Кейо»)

Щоб поглянути на своє поточне становище на лінії метро, ​​користувачеві просто потрібно перетягнути вниз невелику смужку у верхній частині екрану.

Щоб відкрити Центр повідомлень, потягніть далі:

Ви повинні думати про це жесті, як про старому iOS 10: ви трохи тягніть верх, ви відчуваєте тактильну зворотний зв'язок, щоб ви знали, що ваше Live Notification відкрито, і якщо ви тягніть далі, ви відкриваєте Центр повідомлень

І точно так само, через кілька секунд і не виходячи з програми iBooks, користувач може знати, де він знаходиться на лінії метро, ​​і не пропустити свою зупинку.

Ці жести повинні бути вам знайомі. Вони аналогічні жестам для Siri. Насправді, в iOS Mogi, Siri також є Live Notification. Отже, все жести, які були введені раніше, також доступні для інших завдань.

Наприклад, в цьому випадку користувач може перетягнути Live Notification, щоб показати своє становище на карті в реальному часі. Він також може ініціювати дії прямо звідти:

Коли Live Notification відкрито, показується становище на карті в реальному часі. (Я особисто ніколи не вважав зручним 3D Touch елемент, розташований у верхній частині екрану. Я віддаю перевагу старий добрий свайп, особливо зараз, коли iPhone більше, ніж будь-коли. Тим не менш, 3D Touching повідомлення в Центрі повідомлень мають сенс, оскільки там вони більш доступні)

Якщо користувачі захочуть, вони також можуть натиснути на Live Notification, як на звичайне повідомлення, щоб відкрити відповідну програму:

Відкриття Apple Maps простим натисканням

Live Notifications - це природна еволюція Rich Notifications, представлених в iOS 10. Тепер, як ніколи, вони відчуваються міні-додатками.

Як запускати Live Notifications? Нічого не треба робити. Додатки визначають, чи запускати Live Notifications чи ні, в залежності від ситуації. Коли активується Live Notification, відбувається це:

Секундомір перетворюється в Live Notification

Додаток стискається в Live Notification, щоб повідомити користувача, а потім в маленьку смужку у верхній частині екрану, щоб уникнути нав'язливості.

Ось кілька прикладів того, як процеси, що відбуваються у фоновому режимі, можуть оброблятися ОС завдяки Live Notifications:

Телефонні дзвінки. Зверніть увагу, що смужка може змінювати свій колір залежно від типу активності (зелений для дзвінків по телефону або FaceTime, синій для навігації і т. Д.) Завдяки Live Notifications, Uber може повідомити вам в реальному часі, коли ваш водій прибуде, навіть якщо ви не перебуваєте в додатку Uber. Зверніть увагу, що стиль Live Notification може бути налаштований розробниками відповідно до естетикою їх додатків Перевірка маршруту в Картах Google при написанні замітки (замітки знаходяться в фоновому режимі, а Live Notification розширено) Live Notification «Зараз читають» від Medium. (Шановна команда Medium, якщо ви читаєте це, будь ласка, додайте функцію, продовження читання статті з того місця, де ми зупинилися!)

Live Notifications також можуть використовуватися для швидкого обміну інформацією:

Live Notification «Зараз читають» від Medium спливає, коли Medium закритий. Потім ви можете поділитися статтею за допомогою простого перетягування

Те ж саме для скріншотів, якими тепер можна поділитися простим перетягуванням:

Діліться скриншотами пробачимо перетягуванням

При одночасному запуску кількох Live Notifications вони складаються в стек в стилі iOS 12:

Кілька Live Notifications відразу

Їх можна легко впорядкувати за допомогою перетягування, щоб ваше улюблене Live Notification було поверх інших:

Торкніться згрупованих Live Notifications і перегрупуються їх за допомогою перетягування. Ви також можете просто поглянути на всі свої Live Notifications в цьому не сгруппированном поданні

І, зрозуміло, Live Notifications також доступні безпосередньо з екрану блокування, тому вам легко побачити маршрут або повернутися туди, де ви були:

Читання статті на Medium, коли їдеш по лінії Кейо токійського метро. На екрані блокування розробники можуть вибрати, щоб їх Live Notifications розширювалися за замовчуванням, наприклад, для маршрутів, де важливо мати вказівки. (Я також трохи оновив стиль екрану блокування відповідно до нового більш яскравим стилем iOS)

На закінчення

Ось така ось iOS Mogi. iOS Mogi - це третя ітерація концепції, яку я почав близько 2 років тому (тоді ж я почав працювати над macOS Newton ). Тоді вона називалася iOS Fuji .

З самого початку я хотів знайти елегантний спосіб реалізувати багатозадачність на мобільному телефоні, і поділ екрану ніколи не було для мене варіантом. Я хотів щось більш узгоджене з мобільним підходом, і, сподіваюся, ви вважаєте Live Notifications хорошим кроком в цьому напрямку.

Як завжди, вітаються лайки і коментарі 🙂