Olbrzymie korporacje łączą siły! Apple i NVIDIA wspólnie pracują nad techniką „ReDrafter”.
Apple nawiązało współpracę z NVIDIA w celu opracowania techniki „ReDrafter”, która znacząco przyspiesza generowanie tekstu przez modele językowe. Mimo że kalifornijski gigant dotychczas unikał wykorzystywania układów graficznych NVIDIA w swoich rozwiązaniach chmurowych, preferując własne układy scalone, nowa inicjatywa pokazuje, że Apple nie stroni od współpracy, gdy chodzi o wspólne cele badawcze.
Apple opublikowało i udostępniło na zasadach open-source nową technikę nazwaną „Recurrent Drafter” (w skrócie „ReDrafter”), która łączy beam search i tree attention – dwie zaawansowane metody optymalizacji wydajności generowania tekstu. W wyniku badań technologia została zintegrowana z TensorRT-LLM, czyli narzędziem przyspieszającym działanie dużych modeli językowych na układach GPU od NVIDIA.
Co istotne, „ReDrafter” nie tylko skraca czas oczekiwania na wygenerowanie tekstu, ale również zmniejsza zużycie energii. NVIDIA wprowadziła nowe rozwiązania do TensorRT-LLM, co umożliwiło efektywne wykorzystanie zaawansowanych algorytmów techniki „ReDrafter”.
Podczas testów na modelach o dziesiątkach miliardów parametrów, korzystających z GPU NVIDIA, nowa technologia przyniosła nawet 2,7-krotne przyspieszenie generowania tokenów w trybie "greedy decoding". To oznacza nie tylko redukcję opóźnień odczuwalnych przez użytkowników, ale także zmniejszenie liczby potrzebnych GPU oraz zużycia energii, co jest kluczowe w kontekście skalowalności produkcyjnej.
Chociaż wspólne badania Apple i NVIDIA to wyraźny sygnał, że firmy są w stanie współdziałać przy konkretnych projektach, mało prawdopodobne wydaje się nawiązanie długoterminowej współpracy. Biorąc pod uwagę dotychczasowe napięte relacje między gigantami, takie kooperacje najpewniej pozostaną jedynie krótkoterminowe. Czy technologia „ReDrafter” okaże się początkiem większej rewolucji w dziedzinie modeli językowych? Czas pokaże, ale już teraz efekty tej współpracy mogą być przełomowe dla branży AI.
