Startup de Miami afirma ter resolvido o gargalo da atenção densa em transformers. Modelo SubQ seria 56x mais rápido e processa 12x mais contexto, com benchmarks independentes da Appen para provar....
A MiniMax acaba de lançar o MSA (MiniMax Sparse Attention) , um novo mecanismo de atenção esparsa que resolve um dos gargalos mais caros dos modelos de linguagem modernos: o custo quadrático da atençã...
