Докато продължаваме нашето ретроспективно пътуване през разработката на Octo.ai, е време да се потопим дълбоко в техническите иновации, които направиха нашия аналитичен хипервайзор революционен в света на машинното обучение. От 2013 до 2016 г. нашият екип разшири границите на възможното в аналитиката и МО, създавайки платформа, която е едновременно мощна и достъпна.
Аналитичният хипервайзор: Нова парадигма#
В основата на Octo.ai е концепцията за “аналитичен хипервайзор”. Но какво точно означава това и как революционизира начина, по който бизнесите подхождат към машинното обучение?
Абстрактен слой: Подобно на традиционния хипервайзор във виртуализацията, Octo.ai осигурява абстрактен слой между основния хардуер/инфраструктура и аналитичните/МО работни натоварвания.
Оптимизация на ресурсите: Той интелигентно разпределя изчислителните ресурси за различни аналитични задачи, осигурявайки оптимална производителност и ефективност.
Управление на работния процес: Octo.ai управлява сложни МО работни процеси, от въвеждане и предварителна обработка на данни до обучение и внедряване на модели.
Платформено независим: Независимо дали работите локално или в облака, Octo.ai осигурява последователен интерфейс и опит.
Ключови технически характеристики#
1. Архитектура за разпределени изчисления#
Octo.ai е изграден върху архитектура за разпределени изчисления, позволяваща му ефективно да обработва огромни набори от данни и сложни изчисления. Ключовите компоненти включват:
- Разпределено съхранение на данни с използване на технологии като Apache Hadoop
- Разпределена обработка с Apache Spark
- Опашки за съобщения за асинхронна обработка
2. Автоматизирано машинно обучение (AutoML)#
Една от най-вълнуващите ни иновации е нашата AutoML способност:
- Автоматизиран избор и инженеринг на характеристики
- Избор на модел и настройка на хиперпараметри
- Ансамблови методи за подобрена точност
3. Двигател за анализ в реално време#
Octo.ai не е само за пакетна обработка; той се отличава с анализ в реално време:
- Възможности за поточна обработка за анализ на живи данни
- Обслужване на модели с ниска латентност за прогнози в реално време
- Динамични актуализации на модела въз основа на входящите данни
4. Гъвкава интеграция на данни#
Изградили сме Octo.ai да бъде възможно най-гъвкав по отношение на източниците на данни:
- Поддръжка за структурирани, полуструктурирани и неструктурирани данни
- Конектори за популярни бази данни, складове за данни и облачни услуги за съхранение
- Въвеждане на данни базирано на API за персонализирани източници на данни
5. Разширена визуализация и отчитане#
Прозренията от данните са ценни само ако са разбираеми. Затова инвестирахме много във визуализацията:
- Интерактивни табла за изследване на данни и резултати от модели
- Персонализируеми инструменти за отчитане
- Поддръжка за бележници (напр. Jupyter) за учени по данни
Облачно-нативен и облачно-агностичен#
Един от ключовите принципи на дизайна на Octo.ai е неговата облачно-нативна архитектура, съчетана с облачна агностичност:
- Контейнеризирано внедряване с помощта на Docker за последователност в различните среди
- Оркестрация с Kubernetes за мащабируемост и устойчивост
- Поддръжка за основни облачни доставчици (AWS, Google Cloud, Azure), както и локално внедряване
Отворен код в основата#
Нашият ангажимент към отворения код надхвърля просто предоставянето на нашия код. Проектирали сме Octo.ai да използва и да допринася за екосистемата с отворен код:
- Интеграция с популярни библиотеки за МО с отворен код като TensorFlow и PyTorch
- Модулен дизайн, позволяващ плъгини и разширения, създадени от общността
- Изчерпателна документация и уроци за насърчаване на участието на общността
Сигурност и съответствие#
Предвид чувствителния характер на анализа на данни, вградихме солидни функции за сигурност в Octo.ai:
- Криптиране от край до край за данни в движение и в покой
- Фин контрол на достъпа и регистриране на одити
- Помощници за съответствие с регулации като GDPR и CCPA
Непрекъснати иновации#
Един от най-вълнуващите аспекти на изграждането на Octo.ai беше бързият темп на иновации в областта на МО. Структурирахме нашия процес на разработка да бъде гъвкав и отзивчив към нови постижения:
- Редовни цикли на издаване с нови функции и подобрения
- Бета програма за ранен достъп до най-съвременни възможности
- Тясно сътрудничество с академични институции за да останем на върха на МО изследванията
Поглед напред#
С напредването на 2017 г., сме развълнувани от новите функции и подобрения в нашата пътна карта:
- Подобрени възможности за NLP за текстов анализ
- Подобрена поддръжка за модели за дълбоко обучение
- Разширяване на нашите AutoML възможности за покриване на повече случаи на употреба
Техническото пътуване на Octo.ai от 2013 г. до сега беше изпълнено с постоянно учене, иновации и вълнение. Изградихме платформа, с която сме изключително горди, която прави напредналото машинно обучение достъпно за бизнеси от всякакъв мащаб.
В следващата ми публикация ще обсъдя влиянието, което Octo.ai оказа върху МО общността, признанието, което получихме, и нашата визия за бъдещето на аналитиката и машинното обучение. Очаквайте!