Schnelle, einfache und sichere LLM-App-Entwicklung mit Snowflake Cortex

Generative KI (auch GenAI genannt) und Large Language Models (LLMs) verändern grundlegend die Art und Weise, wie Menschen weltweit arbeiten. Snowflake stellt nun eine Reihe innovativer Produkte vor, die die Einfachheit, Sicherheit und Governance der Plattform mit GenAI verbindet. Durch diese neuen Angebote kann jede:r Anwender:in in Sekundenschnelle LLMs in einen analytischen Prozess einbinden; Entwickler:innen können GenAI-gestützte Apps in wenigen Minuten erstellen oder innerhalb von Stunden effiziente Workflows ausführen und z. B. Grundlagenmodelle genau auf Unternehmensdaten abstimmen – all das innerhalb des Sicherheitsrahmens von Snowflake. Dank dieser Fortschritte sind Entwickler:innen und Analyst:innen aller Kenntnisstufen in der Lage, GenAI in bereits sichere und kontrollierte Unternehmensdaten einzubringen. 

In diesem Artikel zeigen wir Ihnen alle Funktionen, die Entwickler:innen nutzen können, um mit Snowflake sicher und mühelos generative KI für ihre Unternehmensdaten zu nutzen.

Um generative KI für bereits kontrollierte Daten zu nutzen, können Kund:innen von Snowflake auf zwei grundlegende Komponenten zugreifen:

Snowflake Cortex: Snowflake Cortex (verfügbar in Private Preview) ist ein intelligenter und vollständig verwalteter Dienst, der Zugang zu branchenführenden KI-Modellen, LLMs und Vektorsuchfunktionen bietet und es Organisationen ermöglicht, Daten schnell zu analysieren und KI-Anwendungen zu entwickeln. Damit Unternehmen schnell LLM-Apps entwickeln können, die ihre Daten verstehen, verleiht Snowflake Cortex Anwender:innen Zugriff auf eine wachsende Anzahl serverloser Funktionen. Diese ermöglichen Inferenzen auf branchenführende generative LLMs, wie das Llama-2-Modell von Meta AI, aufgabenspezifische Modelle zur Beschleunigung von Analytics und erweiterte Vektorsuchfunktionen. 

Von Snowflake Cortex können jedoch nicht nur Entwickler:innen profitieren. Snowflake Cortex ist auch der zugrunde liegende Dienst, der LLM-gestützte Erfahrungen mit einer vollwertigen Benutzeroberfläche (UI, User Interface) ermöglicht. Dazu gehören Document AI (in Private Preview), Snowflake Copilot (in Private Preview) und Universal Search (in Private Preview).

Snowpark Container Services: Diese zusätzliche Snowpark-Laufzeitumgebung (demnächst in ausgewählten AWS-Regionen in Public Preview verfügbar) ermöglicht Entwickler:innen das mühelose Bereitstellen, Verwalten und Skalieren benutzerdefinierter containerisierter Workloads und Modelle für Aufgaben wie die genaue Anpassung von Open-Source-LLMs mithilfe einer sicheren und von Snowflake verwalteten Infrastruktur mit GPU-Instanzen. Und all das innerhalb ihres Snowflake-Kontos. Hier finden Sie weitere Informationen und können auf dem Laufenden bleiben. 

Mit diesen zwei Komponenten verfügen Entwickler:innen über unbegrenzte Möglichkeiten, was das Erstellen von LLM-Anwendungen innerhalb der von Snowflake kontrollierten Grenzen angeht.

Um den Zugang zu Unternehmensdaten und KI für alle zu ermöglichen und sicherzustellen, dass es bei mehr als nur einigen wenigen Expert:innen zum Einsatz kommt, bietet Snowflake Innovationen, mit denen alle Anwender:innen hochmoderne LLMs ohne spezifische Integrationen oder Frontend-Entwicklungen für sich nutzen können. Dazu zählen umfassende UI-basierte Erlebnisse wie Snowflake Copilot und der Zugriff auf LLM-basierte SQL- und Python-Funktionen. So können Analysen kosteneffizient mithilfe spezialisierter und allgemeiner Modelle, die über Snowflake Cortex verfügbar sind, beschleunigt werden. Weitere Informationen finden Sie hier.

Entwickler:innen können jetzt LLM-Apps entwickeln, die die einzigartigen Nuancen ihres Unternehmens und ihrer Daten in Minutenschnelle erfassen – ganz ohne Integrationen, manuelle LLM-Einrichtung oder GPU-basiertes Infrastrukturmanagement. Um diese LLM-Anwendungen auf Grundlage ihrer Daten und unter Verwendung von Retrieval Augmented Generation (RAG) nativ in Snowflake zu entwickeln, können Entwickler:innen Folgendes nutzen: 

Funktionen von Snowflake Cortex: Als vollständig verwalteter Dienst stellt Snowflake Cortex sicher, dass alle Kund:innen Zugriff auf nötige Bausteine für die Entwicklung von LLM-Anwendungen haben, ohne dass ein komplexes Infrastrukturmanagement nötig ist. 

Dazu gehören eine Reihe allgemeiner Funktionen, die branchenführende Open-Source-LLMs und eigene leistungsstarke LLMs nutzen, um mit Prompt Engineering eine breite Palette von Anwendungsfällen zu unterstützen. Die Ausgangsmodelle umfassen:

• Complete (in Private Preview) – Anwender:innen können einen Prompt eingeben und das gewünschte LLM auswählen. In Private Preview können Anwender:innen zwischen drei Modellgrößen von Llama 2 auswählen (7B, 13B und 70B).
• Text to SQL (in Private Preview) – Anhand desselben Snowflake-LLMs, das für Snowflake Copilot verwendet wird, wird aus natürlicher Sprache SQL generiert.

Darüber hinaus gehört zu diesen Funktionen auch das Einbetten von Vektoren sowie semantische Suchfunktionalität. So können Anwender:innen die Modellantworten mit ihren Daten kontextualisieren und in Minutenschnelle individuelle Apps erstellen. Dazu zählen:

• Embed Text (demnächst in Private Preview) – Diese Funktion wandelt eine Texteingabe mithilfe eines von dem:der Benutzer:in gewählten Einbettungsmodells in Vektoreinbettungen um. 
• Vector Distance (demnächst in Private Preview) – Zur Berechnung des Abstands zwischen Vektoren stehen Entwickler:innen drei Funktionen zur Auswahl: Cosinus-Ähnlichkeit - vector_cosine_distance(), L2 Norm - vector_l2_distance() und inneres Produkt - vector_inner_product().
• Native Vector Data Type (demnächst in Private Preview) – Damit diese Funktionen mit Ihren Daten ausgeführt werden können, sind zusätzlich zu allen anderen nativ unterstützten Datentypen ab sofort auch Vektordaten ein nativ unterstützter Datentyp in Snowflake. 

Streamlit in Snowflake (Public Preview): Mit Streamlit können Teams mit nur wenigen Zeilen Python-Code Schnittstellen entwickeln und so LLM-Apps noch schneller erstellen – ganz ohne Frontend-Erfahrung. Diese Apps können dann über individuelle URLs innerhalb einer Organisation sicher bereitgestellt und geteilt werden. Die URLs nutzen bestehende rollenbasierte Zugriffskontrollen in Snowflake und können mit nur einem Klick erstellt werden. Weitere Informationen finden Sie hier. 

Für die noch genauere Anpassung von LLM-Anwendungen sind Entwickler:innen beim Entwickeln und Bereitstellen in Snowflake mit Snowpark Container Services (demnächst in ausgewählten AWS-Regionen in Public Preview) praktisch keine Grenzen gesetzt . Mit dieser zusätzlichen Option in Form einer Snowpark-Laufzeitumgebung können Entwickler:innen mühelos containerisierte Workloads (Jobs, Services, Service-Funktionen) bereitstellen, verwalten und skalieren. Dies ist möglich unter Verwendung der sicheren, von Snowflake verwalteten Infrastruktur mit konfigurierbaren Hardware-Optionen, wie z. B. NVIDIA GPUs.

Hier sind einige weitere häufige Anpassungen, die Entwickler:innen an LLM-Apps vornehmen können, ohne Daten aus der von Snowflake kontrollierten sicheren Umgebung verschieben zu müssen:

• Bereitstellung und genaue Anpassung von Open-Source-LLMs und Vektordatenbanken: Durch die Kopplung einer GPU-gestützten Infrastruktur mit Snowpark Model Registry passiert die Bereitstellung, genaue Anpassung und Verwaltung von Open-Source-LLMs oder das Ausführen einer Vektordatenbank wie Weaviate dank Snowflakes Einfachheit ganz mühelos – und stets innerhalb der sicheren Grenzen Ihres Kontos.

• Nutzung kommerzieller Apps, LLMs und Vektordatenbanken: Im Rahmen der „Private Preview“-Integration mit Snowflake Native Apps kann Snowpark Container Services verwendet werden, um komplexe Apps voll und ganz im Snowflake-Konto auszuführen. Dies können kommerzielle LLMs von AI21 oder Reka.ai, führende Notebooks wie Hex, fortschrittliche LLMOps-Tools von Weights & Biases, Vektordatenbanken wie Pinecone und mehr sein.  Erfahren Sie hier mehr über die neuesten Ankündigungen zur Entwicklung von Anwendungen in Snowflake. 

• Entwicklung benutzerdefinierter UIs für LLM-Apps: Snowpark Container Services bietet Entwickler:innen von LLM-Anwendungen in Unternehmen enorm viel Flexibilität. Wenn sie benutzerdefinierte Frontends mit Frameworks wie ReactJS erstellen wollen, müssen sie lediglich ein Container-Image mit ihrem Code anwenden, um die Benutzeroberfläche in Snowflake verfügbar zu machen. 

Mit Snowflake können alle Anwender:innen mithilfe von LLMs und KI schnell und sicher Mehrwert aus ihren Unternehmensdaten erhalten. Egal ob Sie KI in Sekundenschnelle nutzen oder flexibel und in Minuten benutzerdefinierte LLM-Apps erstellen wollen: Snowflake Cortex, Streamlit und Snowpark Container Services liefern Ihnen die nötigen Bausteine, ohne dass Daten außerhalb der sicheren und kontrollierten Grenzen von Snowflake bewegt werden müssen. Mehr Informationen für einen leichten Einstieg finden Sie hier: 

• Entwickeln Sie Apps mit Streamlit in Snowflake
• Erfahren Sie mehr über Snowpark Container Services und bleiben Sie bei Public Previews auf dem Laufenden
• Um Zugang zu Previews zu erhalten, kontaktieren Sie bitte unser Sales-Team.