Kategoria: Deep Learning
Metoda MatMul-Free osiąga wysoką wydajność przy 61% mniejszym zużyciu pamięci
—
in AdderNet, Artificial Intelligence, BERT, binary or ternary quantization, BitNet, channel mixer, Computational Cost, Convolutional Neural Networks, Deep Learning, FPGA, Gated Recurrent Unit, GPU-efficient implementation, Hardware Efficiency, Large Language Models, lightweight operations, MatMul operations, MatMul-free Language Modeling, matrix multiplication, Memory Usage, Quantization-Aware Training, Stratix 10 programmable acceleration card., token mixer, TransformersNaukowcy z Uniwersytetu Kalifornijskiego w Santa Cruz, Uniwersytetu Soochow, Uniwersytetu Kalifornijskiego w Davis i LuxiTech opracowali skalowalny model językowy, który eliminuje potrzebę mnożenia macierzy (MatMul), kosztownej obliczeniowo operacji. Opracowane przez zespół modele bez MatMul utrzymują wysoką wydajność w skali miliardów parametrów, zmniejszając zużycie pamięci nawet o 61% podczas uczenia i ponad 10 razy podczas wnioskowania.…
Zmiana zasad gry dla zielonej sztucznej inteligencji? – Quantum Zeitgeist
Artykuł autorstwa Evy Memmel, Clary Menzen, Jetze Schuurmans, Frederieka Wesela i Kima Batseliera z Delft University of Technology i Xebia Data przedstawia związek między sieciami tensorowymi (TN) a zieloną sztuczną inteligencją. W artykule argumentuje się, że TN, ze względu na ich silny szkielet matematyczny i logarytmiczny potencjał kompresji, mogą zwiększyć zrównoważony rozwój i inkluzywność badań…
Geoffrey Hinton
Geoffrey Hinton, często nazywany „ojcem chrzestnym głębokiego uczenia”, znacząco przyczynił się do rozwoju sztucznej inteligencji i uczenia maszynowego. Jego praca, skoncentrowana na zrozumieniu ludzkiego mózgu i odtworzeniu jego funkcji w maszynach, wywarła ogromny wpływ na współczesne badania i innowacje w dziedzinie sztucznej inteligencji. Podróż Hintona, naznaczona linią czasu znaczących przełomów, odegrała kluczową rolę w kształtowaniu…
