Orbit by Mozilla (diskuse)

[Fluttershy, yay!]

Nebylo by od věci rovnou napsat, co tam ta „umělá inteligence“ dělá. Takže: Easily summarize emails, docs, articles, and videos across the web

…a jak to dělá: Mistral LLM (Mistral 7B) hosted within Mozilla’s GCP instance

[Peter Golis]

Vlákno bylo přesunuto do samostatné diskuse.

[RealJ]

"aniž byste museli obětovat své soukromí"
https://orbitbymozilla.com/privacy
We also automatically receive certain information when you interact with the Service:
Technical data. We receive basic telemetry data by default, which we use to improve the performance, stability, and security of the Service, including information about your device, including hardware configuration and device operating system; browser information, such as browser type and settings; log files and usage data; and event information, such as errors or crashes. We may also receive additional information about your device, such as country, language, operator and OEM, which we use to prevent fraud and abuse, enforce our terms, and improve the security of the Service.
Location data. Your IP address is collected as part of our server logs, and automatically deleted after 90 days. We use it to approximate your location to comply with relevant legal and regulatory requirements, as well as for fraud and abuse prevention purposes.
Information We Share.
We use third parties to provide the Service to you, and have contracted with these companies requiring them to protect your information (Third-Party Services):
Google Cloud Platform. Google Cloud Platform (GCP) is a cloud-computing platform. We use GCP to manage services that facilitate responses to user prompts and page summarization. Sentry. We use Sentry for Application Performance Monitoring (APM) and error collection to help improve the quality of the Service. If you opt into additional data collection for error monitoring and performance tracking, we share URL information with Sentry so we can track and fix where issues occur.

Náš administrátor shledal tento komentář závadným.

trolling

Zobrazit komentář

[RealJ]

Ja od mozilla necekam jiz nic, ale vzdy me pobavi kdyz nekdo veri, ze mozilla dela neco pro obecne dobro nebo ze chrani soukromi uzivatelu…

[Liscak]

Tak to jsem rad, ze pouzivam Firefox. Kdyz Mozillu hani nekdo jako ty, vim, ze to ma smysl.

[RealJ]

Náš administrátor shledal tento komentář závadným.

trolling

Zobrazit komentář

[karkar]

njn, abíčko je LGBT+ sensitive...

[RealJ]

to jenom duhovy ponik... od kdy je trans tak je to s nim v pici...

[Ovoce]

od kdy je trans

David byl někdy ženská? Vždyť je tu snad od 16 TVL. Celou dobu je teda deviant to je pravda, vždycky jenom ty nejúchylnější klávesnice.

[Ovoce]

+1

[David Heidelberg]

přesně tak, nějak to nesedí. Prostě Mozilla.

[plostenka]

Ochrana soukromi tim, ze se vsechno posle do googlu. To zni jako napad nejake inkludovane existence...

[llm]

Že url kde je model který to analyzuje můžu nastavit, třeba na localhost, že jo?

[koroptev]

Nebuď ovce a nevěř mozille. Dej všechna data applu a on je před ostatními ochrání.

[koroptev]

lidi s normalnima pocitacema si ten uplne stejnej model proste pustej lokalne..

[noone]

Upřímně, zkoušel jsem to, ale nedokázal jsem zprovoznit žádný offline llm tak, aby reagoval podobně jako kterákoliv o line služba. Strávil jsem na tom dva dny, jsem léta admin, ale prostě jsem asi nepochopil jak to udělat. Poradíš mi jak to prostě pustím?

[koroptev]

tak jsi neschopnej nebo na to nemas ten rozumnej hw

na pc platforme potrebujes grafarnu od nvidie s co nejvic ram, v soucasny dobe je pro consumer grade grafarny max 24GB v podobe 3090 nebo 4090

zrovna ten mistral 7b potrebuje tech 24GB s kvantizaci se dostanes niz, ale 8GB je asi nejaky minimum, muzes mit tez vic karet a vhodnej soft to bude umet vyuzit, jako bys mel soucet jejich vram

pokud tohle nemas, nepobezi ti to rozumnou rychlosti

alternativou jsou macy s unified pameti, zejmena modely pro/max/ultra, cim vys tim vetsi memory bandwidth, tam muzes jit s ram az do 192GB a budes ok, bude to radove pomalejsi nez nvidia, ale budes schopnej provozovat veci, ktery na nvidii provozovat schopnej nebudes kvuli nedostatku pameti