Revolution w SEO: RecurrentGemma od Google DeepMind!
Revolution w SEO: RecurrentGemma od Google DeepMind!
Google DeepMind opublikowało nowy artykuł badawczy, w którym prezentuje model językowy RecurrentGemma. Ten innowacyjny model ma potencjał, aby dorównać lub przewyższyć wydajność modeli opartych na transformatorach, a przy tym jest znacznie bardziej efektywny pod względem pamięci.
RecurrentGemma wykorzystuje nową architekturę Griffin, która łączy liniowe powtórzenia z lokalną uwagą. Dzięki temu osiąga doskonałe wyniki w zadaniach związanych z językiem, a jego stały rozmiar stanu pozwala na zmniejszenie zużycia pamięci oraz efektywne wnioskowanie na długich sekwencjach.
W artykule przedstawiono również wstępnie wytrenowany model z 2 miliardami parametrów oraz wariant dostosowany do instrukcji. Oba modele osiągają porównywalną wydajność do Gemma-2B, mimo że były trenowane na mniejszej liczbie tokenów.
Na podstawie: Źródła
