Несмотря на свой молодой возраст, Давид Буниатян является выдающимся предпринимателем и ученым в области искусственного интеллекта. Эта вдохновляющая история начинается с рассмотрения того, как функционирует мозг вплоть до построения мозга. Путешествие, которой начинается с Принстонского университета, где он является аспирантом продолжается в«Y Combinator», где он стал соучредителем «Snark AI».
В течение последних пяти лет, область Искусственного интеллекта (ИИ) серьезно углубилась по всему миру. США, Китай, Франция и Германия тратят миллиарды долларов на создание инфраструктуры ИИ. Успех в использования глубокого обучения в распознавании объектов по изображениям оказал огромное влияние на повседневную жизнь миллиардов людей. Приложения включают в себя распознавание наших лиц, общение с виртуальными помощниками и самостоятельное вождение автомобилей.
Необходимы терабайты или даже петабайты информации для получения высокоточных моделей, которые можно использовать в реальной жизни. Нужны огромные вычислительные ресурсы для глубоких нейросетей. Глубокие нейросети состоят из слоев искусственных нейронов, которые могут выражаться в простой линейной алгебре. Накапливая много слоев и передавая много данных, эти модели изучают сложные образцы информации, которые могут помочь идентифицировать или классифицировать объекты на изображениях или даже преобразовывать речь в текст.
Эффект бабочки в Принстонском университете
Давид родился в Ереване и учился в гимназии «Квант». В 2013 году он поступил в Университетский колледж Лондона, чтобы получить степень бакалавра по информатике. В 2014 году его первым шагом в области искусственного интеллекта было создание вместе с друзьями алгоритма машинного обучения для изучения новостных предпочтений пользователей. Этот проект вошел в пятерку лучших из сотен номинантов на престижном стартап-мероприятии в Лондоне Techcrunch Disrupt и впоследствии был представлен на сайте TechCrunch.
Newsly Hack – приложение для новостных статей
Чтобы эффективно обучаться моделям глубокого обучения, исследователи часто используют графические процессоры - специальное оборудование, которое изначально было разработано для игр. Чтобы подготовить лучшую модель для рекомендации новостей, его другу Карену Амбарцумяну понадобился графический процессор, но они не могли его себе позволить. С этой целью Давидзаписался на двухдневный курс по использованию графического процессора, где после окончания курса давали скидку в 50%. «Моей единственной целью было получить скидку, чтобы мы могли купить один графический процессор и обучать значительно более точные модели с большим количеством данных», - говорит Давид.
Однако, тогда он не мог знать, что во время этого курса он встретит профессора, который представит его будущему научному руководителю, профессору Лурдес Агапито. Работая под руководством профессора Агапито, Давид научился тому, как проводить исследования в области информатики и разрабатывать сложные алгоритмы ИИ с нуля. Профессор Агапито порекомендовал зачислить Давида на одну из самых престижных программ в области информатики, где проводили исследования пионеры информатики и искусственного интеллекта, такие как Алан Тьюринг, Клод Э. Шеннон и Марвин Мински.
Когда ему было 20, Давид получил предложение от Пристанского университета. Он получил стипендию Гордона Ву – одну из самых престижных стипендий для аспирантов.
Фото сделано в Принстонском университете в 2016 году. Имя Хачияна написано рядом с объяснением линейных программ и алгоритмов эллипсоида.
«Один из самых первых уроков, которые я усвоил в Принстоне: реальная информатика делается на доске без каких-либо компьютеров и со сложной математикой», - говорит он. Как вспоминает Давид, во время одного занятия профессор рассказывал, как значительный прорыв теории советского армянского доктора Леонида Хачияна стал темой новостей в США: «Советское открытие всколыхнуло мир математики», Нью-Йорк Таймс, 1979 г.. Доктор Хачиян позже стал профессором Университета Рутгерса.
Разговор с ИИ
В 2016 Amazonобъявилконкурс «AlexaPrizeCompetition». Команда Принстона была одной из десяти команд, получивших финансирования на создание чат-бота, который может вести разговор с человеком на протяжении более чем 20 минут. Команда Принстона была одной из тех, которую отобрали. «Проанализировав десять тысяч разговоров нашего бота со случайными людьми, я был счастлив, когда заметил, что он достиг цели», - говорит он. Их проект был представлен на сайтеCNET [Ссылка 1, Ссылка 2]. Работая над этим проектом, Давид также встретился с его будущим соучредителем Джейсоном Ге и в следующем году получил премию AWS Machine Learnnig.
Отслеживая нейроны
В своем знаменитом выступлении на конференции TED, профессор Принстона Себастьян Сеунг популяризировал термин «коннектом», цели создания карты коннектома человека, а также продолжающиеся усилия по созданию трехмерной нейронной карты ткани мозга на микроуровне. Чтобы понять, как работает мозг, недостаточно заглянуть в один нейрон. Нужно понимать его связи. Давид присоединился к амбициозному проекту по восстановлению связей в мозгу мыши, которым руководил профессор Сеунг и его ученики из Института нейронауки в Принстоне.
Члены лаборатории Сеунга, слева: сидят: Александр Бэ, Томас Макрина, Сергей Попович, Цзинпэн Ву; стоят: Николас Тернер, Свен Доркенвальд, Крис Джордан, Давит Буниатян, Чжэнь Цзя, Себастьян Сеунг, Уильям Силверсмит, Ран Лу, Кисук Ли, Кайл Лютер, Нико Кемниц, Уильям Вонг, Шан Му, Алисса Уилсон, Майсун Хуссейни. Фото предоставлено Джанет Джекел.
Мозг мыши разрезается на очень тонкие слои с помощью алмазного ножа. Изображение среза получено с помощью электронного микроскопа. «Мы могли бы получить тысячи срезов по 50 000 пикселей в ширину и высоту. Каждый мог быть слегка деформирован, поврежден или полностью пропущен. Чтобы восстановить нейроны из этих изображений, нам нужно было сначала выровнять их»,- говорит Давид. Он работал над проблемой выравнивания изображений в объемном пространстве, чтобы не было разрывов. Это похоже на сборку нарезанного хлеба. После того, как хлеб нарезан, нет больше прототипа, который можно сравнить с оригиналом.
Под руководством профессора Сеунга, Давид и его коллеги изобрели алгоритм для восстановления объемного изображения мозга мыши, который практически не нуждается в контроле человека. Алгоритм сам учит, как выровнять кусочки друг с другом. Одна ошибка может распространиться на неправильный коннектом. Очень важно быть подверженным ошибкам.
«Пока я разрабатывал алгоритм, время от времени обучение прекращалось. У меня была одна ошибка в коде, которая портила всю картину. Я изучал эту проблему почти 6-7 месяцев и не мог понять, в чем дело», - делится Давид своим опытом в проведении исследований. «Я рассказал своему руководителю об этой проблеме. Он прямо посоветовал мне описать ему код на доске в математических терминах (не псевдокод, а настоящая математика). После недели математических записей на доске неожиданно была обнаружена проблема, которая была сформулирована как проблема с программным обеспечением»,- вспоминает ученый. Выявление этой проблемы вновь подтвердило правильность первого урока, который Давид усвоил во время занятий в Принстоне.
Профессор Сеунг и его лаборатория используют искусственные нейронные сети, чтобы понять, как настоящие нейронные сети обучаются, рассматривая каждую отдельную ячейку и ее соединения в целом. «Мне действительно повезло, что я могу работать с профессором Сеунгом и моими коллегами», - говорит Давит.
Связывая вычислительные ресурсы
Изображения мозга мыши содержат терабайты и даже петабайты данных. Для работы с глубокими нейросетями подобного масштаба требуется много вычислительных ресурсов. «На конференции NeuroIPS вместе с Джейсоном мы думали, каким образом соединить все графические процессоры в одну сеть для запуска нейронных сетей»,- рассказывает Давид. Для этого он и его коллеги по аспирантуре разработали уникальный алгоритм, который может одновременно запускать нейросети и криптомайнинг на одном графическом процессоре. Это помогло майнерам запускать нейронные сети во время бума биткойна.
Джейсон Ге, Сергей Попович и Давит Буниатян после зачисления в «Y Combinator» в 2018 г.
На сайте TechCrunch появилась еще одна статья об этом изобретении. Давид и его команда были приняты в топ-акселератор стартапов «Y Combinator», куда поступает лишь 1% желающих.
«Пока мы проводили исследования в Принстоне, мы обнаружили, что экосистема для глубокого изучения облачных технологий довольно незрела. Обучение и развертывание крупномасштабного глубокого обучения в облаке было очень дорогостоящим и трудным процессом. Именно это вдохновило нас на создание компании для решения этой проблемы»,- рассказывает он.
«Snark AI» создает платформу глубокого обучения в облаке. Это помогает компаниям масштабировать свои алгоритмы ИИ в облаке. Например, обработка 100 миллионов документов или миллионов изображений может быть легко быть проведена с помощью их программного обеспечения поверх любого облачного провайдера.
Следующие шаги
Если раньше он не мог позволить себе один графический процессор, то теперь их программное обеспечение контролирует более десятков тысяч графических процессоров в одной сети для обучения и развертывания моделей глубокого обучения. «Snark AI» привлек инвестиции известных венчурных капиталoв и бизнесменов из Кремниевой долины, включая армянских инвесторов.
Ожидается, что создание карты всего человеческого мозга станет возможным только через 50 лет. У Давида есть амбиции ускорить этот процесс. Он также планирует открыть прикладную лабораторию машинного обучения в Армении.
Дженсен Хуанг, генеральный директор и основатель «Nvidia» - крупнейшего производителя графических процессоров.
