Materiały · Pomiar wpływu AI

Jak firmy mierzą wpływ AI

16 metryk z 7 firm technologicznych

Katalog metryk, którymi Atlassian, Dropbox, GitHub, Microsoft i inne firmy sprawdzają, jak AI zmienia pracę zespołów IT – od adopcji narzędzi, przez szybkość i jakość, po koszty.

Aktualizacja:

Wybierz obszar lub firmę, a potem kliknij kartę, aby zobaczyć sposób pomiaru, jednostkę i cytat z raportu. Znacznik AI wyróżnia metryki stworzone specjalnie do mierzenia pracy z AI.

Katalog metryk

16 z 16 metryk

AtlassianAI

Wskaźnik akceptacji sugestii AI

Odsetek sugestii AI, które programiści akceptują.

  • Adopcja AI
Im wyżej, tym lepiej
DropboxAI

Dzienni i tygodniowi użytkownicy narzędzi AI (DAU/WAU)

Liczba lub odsetek programistów korzystających z narzędzi AI w danym dniu (DAU) lub tygodniu (WAU).

  • Adopcja AI
Im wyżej, tym lepiej
DropboxAI

Satysfakcja z narzędzi AI (CSAT)

Zadowolenie programistów z narzędzi AI mierzone wskaźnikiem CSAT (Customer Satisfaction Score).

  • Doświadczenie programistów
Im wyżej, tym lepiej
DropboxAI

Czas zaoszczędzony na programistę

Tygodniowy czas pracy, który programista oszczędza dzięki narzędziom AI.

  • Szybkość
  • Doświadczenie programistów
Im wyżej, tym lepiej
DropboxAI

Wydatki na AI

Wydatki na narzędzia AI – licencje, opłaty za zużycie (np. tokeny) i szkolenia – łącznie i w przeliczeniu na programistę.

  • Koszty
W zakresie docelowym
Dropbox

Przepustowość PR

Liczba pull requestów scalanych w tygodniu w przeliczeniu na programistę (agregowana na poziomie zespołu).

  • Szybkość
Im wyżej, tym lepiej
Dropbox

Odsetek nieudanych zmian (Change Failure Rate)

Odsetek wdrożonych zmian, które kończą się incydentem albo koniecznością wycofania.

  • Jakość i stabilność
Im niżej, tym lepiej
GitHubAI

Wskaźnik akceptacji sugestii AI

Odsetek sugestii AI, które programiści akceptują.

  • Adopcja AI
Im wyżej, tym lepiej
Glassdoor

Liczba testów A/B w miesiącu

Liczba eksperymentów A/B w miesiącu. Glassdoor traktuje ją jako efekt pracy z AI – sprawdza, czy AI przyspiesza eksperymentowanie.

  • Innowacyjność
Im wyżej, tym lepiej
GlassdoorAI

Model dojrzałości w korzystaniu z AI

Pięć poziomów zaawansowania w pracy z AI – od poziomu „świadomy AI” (AI Aware) po poziom „car AI” (AI Czar).

  • Adopcja AI
Im wyżej, tym lepiej
Microsoft

Zły dzień programisty (Bad Developer Day)

Wskaźnik dni, w których pracę programisty zdominowały żmudne zadania i utrudnienia. Microsoft używa go do oceny wpływu narzędzi AI.

  • Doświadczenie programistów
Im niżej, tym lepiej
T-MobileAI

Wskaźnik akceptacji sugestii AI

Odsetek sugestii AI, które programiści akceptują.

  • Adopcja AI
Im wyżej, tym lepiej
Webflow

Utrzymywalność kodu

Ocena, jak łatwo utrzymywać i zmieniać kod – także ten wygenerowany przez AI.

  • Utrzymywalność
Im wyżej, tym lepiej
Webflow

Pewność wprowadzania zmian (Change Confidence)

Przekonanie zespołu, że może wprowadzać zmiany bez ryzyka regresji.

  • Jakość i stabilność
  • Utrzymywalność
Im wyżej, tym lepiej
Webflow

Odsetek wycofanych PR (PR Revert Rate)

Odsetek scalonych pull requestów, które później wycofano (revert).

  • Jakość i stabilność
Im niżej, tym lepiej
Webflow

Odsetek nieudanych zmian (Change Failure Rate)

Odsetek wdrożonych zmian, które kończą się incydentem albo koniecznością wycofania.

  • Jakość i stabilność
Im niżej, tym lepiej

Źródło: raport DX „How 18 top companies measure the impact of AI in engineering” (Laura Tacho). Katalog obejmuje 16 metryk z 7 firm opisanych w raporcie; numery stron w szczegółach metryk odsyłają do raportu. Pole „Nie podano” oznacza, że raport nie opisuje metody lub okresu pomiaru.

Przeczytaj teżSpada, a miało rosnąć? Paradoks produktywności AI w zespołach deweloperskich

Bezpłatna konferencja online

Budowa oprogramowania w erze AI

Jak mierzyć efekty AI w zespołach i w całym procesie wytwórczym? Praktycy pokażą, co sprawdza się u nich – w ścieżce technologicznej, menedżerskiej i w debacie CIO.

Więcej materiałów

4listopada 20269:00–16:00 · online · udział bezpłatny

Zarejestruj się Zobacz program