Jak pokračujeme v naší retrospektivní cestě vývojem Octo.ai, je čas ponořit se hluboko do technických inovací, které udělaly z našeho analytického hypervizoru průlomovou technologii ve světě strojového učení. Od roku 2013 do roku 2016 náš tým posouval hranice toho, co bylo možné v analytice a ML, a vytvořil platformu, která je jak výkonná, tak přístupná.
Analytický hypervizor: Nové paradigma#
Jádrem Octo.ai je koncept “analytického hypervizoru”. Ale co to přesně znamená a jak to revolucionizuje způsob, jakým firmy přistupují ke strojovému učení?
Abstrakční vrstva: Podobně jako tradiční hypervizor ve virtualizaci, Octo.ai poskytuje abstrakční vrstvu mezi základním hardwarem/infrastrukturou a analytickými/ML úlohami.
Optimalizace zdrojů: Inteligentně přiděluje výpočetní zdroje různým analytickým úlohám, zajišťuje optimální výkon a efektivitu.
Správa pracovních postupů: Octo.ai spravuje komplexní ML pracovní postupy, od příjmu dat a předzpracování až po trénink modelů a nasazení.
Platformově nezávislý: Ať už běžíte on-premises nebo v cloudu, Octo.ai poskytuje konzistentní rozhraní a zkušenost.
Klíčové technické funkce#
1. Architektura distribuovaného výpočetního prostředí#
Octo.ai je postaveno na architektuře distribuovaného výpočetního prostředí, což mu umožňuje efektivně zpracovávat obrovské datové sady a komplexní výpočty. Klíčové komponenty zahrnují:
- Distribuované ukládání dat pomocí technologií jako Apache Hadoop
- Distribuované zpracování s Apache Spark
- Fronta zpráv pro asynchronní zpracování
2. Automatizované strojové učení (AutoML)#
Jednou z našich nejzajímavějších inovací je naše schopnost AutoML:
- Automatizovaný výběr a inženýrství funkcí
- Výběr modelu a ladění hyperparametrů
- Metody ensemblů pro zlepšení přesnosti
3. Engine pro analýzu v reálném čase#
Octo.ai není jen pro dávkové zpracování; vyniká v analýze v reálném čase:
- Schopnosti zpracování streamů pro analýzu živých dat
- Nízkolatentní poskytování modelů pro predikce v reálném čase
- Dynamické aktualizace modelů na základě příchozích dat
4. Flexibilní integrace dat#
Octo.ai jsme vybudovali tak, aby byl co nejflexibilnější, pokud jde o zdroje dat:
- Podpora pro strukturovaná, semi-strukturovaná a nestrukturovaná data
- Konektory pro populární databáze, datové sklady a cloudová úložiště
- Příjem dat založený na API pro vlastní zdroje dat
5. Pokročilá vizualizace a reportování#
Datové poznatky jsou cenné pouze tehdy, jsou-li srozumitelné. Proto jsme hodně investovali do vizualizace:
- Interaktivní dashboardy pro zkoumání dat a výsledků modelů
- Přizpůsobitelné nástroje pro reportování
- Podpora pro notebooky (např. Jupyter) pro datové vědce
Cloud-nativní a cloud-agnostický#
Jedním z klíčových principů návrhu Octo.ai je jeho cloud-nativní architektura spojená s cloud-agnostickým přístupem:
- Kontejnerizované nasazení pomocí Dockeru pro konzistenci napříč prostředími
- Orchestrace Kubernetes pro škálovatelnost a odolnost
- Podpora pro hlavní poskytovatele cloudu (AWS, Google Cloud, Azure) i nasazení on-premises
Otevřený zdrojový kód v jádru#
Náš závazek k otevřenému zdrojovému kódu jde nad rámec pouhého zpřístupnění našeho kódu. Navrhli jsme Octo.ai tak, aby využíval a přispíval do ekosystému open-source:
- Integrace s populárními open-source ML knihovnami jako TensorFlow a PyTorch
- Modulární design umožňující pluginy a rozšíření přispívané komunitou
- Komplexní dokumentace a tutoriály pro podporu zapojení komunity
Bezpečnost a soulad s předpisy#
Vzhledem k citlivé povaze datové analytiky jsme do Octo.ai zabudovali robustní bezpečnostní funkce:
- End-to-end šifrování pro data v přenosu a v klidu
- Jemně odstupňované kontroly přístupu a auditní logování
- Pomocníci pro dodržování předpisů jako GDPR a CCPA
Kontinuální inovace#
Jedním z nejzajímavějších aspektů budování Octo.ai bylo rychlé tempo inovací v oblasti ML. Strukturovali jsme náš vývojový proces tak, aby byl agilní a reagoval na nové pokroky:
- Pravidelné cykly vydávání s novými funkcemi a vylepšeními
- Beta program pro včasný přístup k nejmodernějším funkcím
- Úzká spolupráce s akademickými institucemi pro udržení se na špici ML výzkumu
Pohled do budoucnosti#
Jak postupujeme do roku 2017, jsme nadšeni z nových funkcí a vylepšení na našem plánu:
- Vylepšené NLP schopnosti pro textovou analytiku
- Zlepšená podpora pro modely hlubokého učení
- Rozšíření našich schopností AutoML pro pokrytí více případů použití
Technická cesta Octo.ai od roku 2013 až do současnosti byla cestou neustálého učení, inovací a vzrušení. Vybudovali jsme platformu, na kterou jsme nesmírně hrdí, platformu, která zpřístupňuje pokročilé strojové učení firmám všech velikostí.
V mém příštím příspěvku budu diskutovat o dopadu, který Octo.ai mělo na ML komunitu, o uznání, kterého se nám dostalo, a o naší vizi budoucnosti analytiky a strojového učení. Zůstaňte naladěni!