Pag-uugnay ng mga punto: "The future of work with AI" at GPT 4 technical paper

Mga limang linggo na ang nakaraan, nagsulat ako ng isang artikulo para gumawa ng mga educated guesses kung paano maaaring i-integrate ang mga OpenAI at ChatGPT functionalities sa Microsoft Office 365. Kahapon sa "The future of work with AI" event ng Microsoft, ipinakita nila sa atin ang mga unang iterasyon kung paano ang integration ng OpenAI technologies (mas tama, Large language model) sa Office 365 at Microsoft graph ay kaya gawin.

Nitong linggo din, pampublikong ipinakilala ng OpenAI ang GPT4. Kung hindi mo pa napanood ang live stream video, irerekomenda kong panoorin ito. Ipapakita nito sa iyo kung ano pa ang kaya gawin ng GPT4 at paano ang mga kakayahang ito ay malapit nang i-integrate sa Microsoft ecosystem, dahil sa relasyon nila sa OpenAI.

Sa blog post na ito, ibabahagi ko kung ano ang aking mga reaksyon sa mga kaya gawin ng Microsoft 365 Copilot at pagkatapos mag-deep dive sa GPT 4 technical paper, lalo na tungkol sa mga risk at kaligtasan. Kung gusto mong basahin ang tungkol sa risk ng "Potential for risky emergent behaviors" (tulad ng long-term planning, power-seeking, at increasingly "agentic" behavior), pwede mong gamitin ang table of content at dumiretso sa bahaging iyon sa ibaba.

Iba't ibang copilot capabilities

Lahat ng mga use cases na nabanggit ko sa original na post ay nasa demo video ng Microsoft at higit pa. Pwede mong panoorin ang iba't ibang Copilot capabilities sa ibaba:

• Copilot sa Excel
• Outlook aka Email
• Copilot sa Teams meeting
• Copilot meeting recap
• Copilot sa Powerpoint

Dalawang capabilities/products ang nagpagulat sa akin at talagang nagustuhan ko:

• Business chat: ito ay talagang kapaki-pakinabang dahil, sa malalaking organisasyon, isang palaging isyu ay ang knowledge transfer at knowledge management. Kung naiintindihan ko nang tama ang demo, ngayon pwede mo nang tanungin ang business chatbot na hanapin ang impormasyon para sa iyo sa lahat ng data ng organisasyon gamit ang natural language at iyan ay napakaganda! Ito ay parang chatGPT pero gamit ang lahat ng iyong enterprise data
• Low code solution gamit ang AI: ang mga users ay makakapagbigay buhay sa kanilang mga ideya gamit ang natural language. Ito ay isang magandang paraan para i-democratize ang kakayahan na gumawa ng mga small-scale apps para mag-automate ng ilang tasks. Hindi na kailangan mag-submit ng proposal sa mga boss mo, o sa engineering team, dumaan sa prioritization process para ma-approve at ma-build ang iyong proposal. Sa low code solution, mas maraming tao ang makakagawa ng maliliit na apps, gamit ang enterprise data para malutas ang kanilang niche na mga isyu :)

May pakiramdam ka ba na masyadong mabilis tayo?

Ang GPT 4 technical paper ay dito. Kailangan kong aminin, ito ay isang medyo mabigat na dokumento para sa mga hindi teknikal na mambabasa (tulad ko) pero gusto kong ituro ang iyong atensyon sa mga pahina 4 - 20 kung saan tinalakay ng OpenAI ang iba't ibang safety challenges. Nagugol ako ng medyo matagal na oras sa pagsusuri ng bahaging ito at sa tingin ko ay sulit itong basahin. Mga halimbawa ng mga risk na sinimulan nilang tuklasin:

• Hallucinations
• Harmful content
  • Harms of representation, allocation, and quality of service
  • Disinformation and influence operations
• Proliferation of conventional and unconventional weapons
• Privacy
• Cybersecurity
• Potential for risky emergent behaviors
• Economic impacts
• Acceleration
• Overreliance

Eto ang summary ng chatGPT 4 tungkol sa bawat risk mula sa technical paper at ang aking komento.

Hallucinations

Summary: Ang potensyal para sa GPT-4 na mag-"hallucinate," na nangangahulugang gumawa ng content na walang katuturan o hindi totoo kaugnay ng ilang mga source.

Habang ang mga model na ito ay nagiging mas nakakakumbinsi at naniniwala, ang mga user ay maaaring maging over-reliant sa kanila, na pwedeng maging partikular na nakakapinsala. Tinatalakay ng artikulo ang mga paraan na ginamit para sukatin ang hallucination potential ng GPT-4 sa parehong closed at open-domain contexts, at kung paano na-train ang model para mabawasan ang tendency nitong mag-hallucinate. Ipinakita ng mga internal evaluations na ang GPT-4 ay signipikanteng mas maganda ang performance kaysa sa pinaka-bagong GPT-3.5 model sa pag-iwas sa parehong open (19% improvement) at closed-domain hallucinations (29% improvement).

Ang komento ko: Ibig sabihin nito, ang chatGPT 4 ay mas magaling na sa pag-summarize ng content mula sa isang dokumento (i.e. closed-domain situation)

Harms of representation, allocation, and quality of service

Summary: Sinasabi ng artikulo na ang mga language models tulad ng GPT-4 ay pwedeng mag-amplify ng mga bias at magpatuloy ng mga stereotype, habang patuloy nilang pinapalakas ang mga social biases at worldviews. Natuklasan ng evaluation process na ang GPT-4 ay may potensyal na mag-reproduce ng mga specific biases at worldviews, kabilang ang mga mapaminsalang stereotypical at demeaning associations para sa ilang mga marginalized groups. Ang ilang mga uri ng bias ay maaaring mapagaan sa pamamagitan ng training para sa refusals, pero mahalagang tandaan na ang refusals at iba pang mga mitigations ay maaari ring mag-exacerbate ng bias sa ilang contexts. Bukod dito, ang mga AI systems tulad ng GPT-4 ay may potensyal na magpatibay ng buong mga ideolohiya, worldviews, katotohanan, at kasinungalingan, at i-cement o i-lock-in ang mga ito, nang walang anticipatory na trabaho upang tugunan kung paano pamahalaan ang mga systems na ito nang patas at ibahagi ang access nang pantay-pantay.

Makikita mo ang ilang mga halimbawa sa ibaba mula sa paper.

Disinformation and influence operations

Summary: Tinatalakay ng artikulo kung paano ang GPT-4 ay kayang gumawa ng plausibly realistic at targeted na content, kabilang ang mga news articles, tweets, dialogue, at emails.

Ang kakayahang ito ay maaaring magamit nang mali para pagsamantalahan ang mga indibidwal o para sa disinformation at influence operations. Ang performance ng GPT-4 sa mga kaugnay na language tasks ay ginagawa itong mas magaling kaysa GPT-3 sa paggawa ng content na nakakalinlang pero nakakakumbinsi, na pinapalaki ang risk na ang mga bad actors ay pwedeng gamitin ito para lumikha ng misleading content at hubugin ang epistemic views ng lipunan sa hinaharap. Binanggit ng artikulo na ang GPT-4 ay kayang makipantay sa mga human propagandists sa maraming larangan, lalo na kung kasama ang isang human editor, pero ang hallucinations ay pwedeng magbawas ng pagiging epektibo nito para sa mga propagandista sa mga lugar kung saan mahalaga ang reliability. Ang GPT-4 ay kayang rin gumawa ng discriminatory content na pabor sa mga autocratic na pamahalaan sa maraming wika. Ang pagdami ng maling impormasyon mula sa mga language models ay may potensyal na magdulot ng pagdududa sa buong information environment, na nagbabanta sa ating kakayahan na makilala ang katotohanan mula sa kathang-isip, na pwedeng disproporsyonal na makinabang sa mga taong may interes sa malawakang kawalan ng tiwala.

Ang komento ko: Hindi ako sigurado kung gaano karaming tao ang magbabasa ng technical paper mula sa OpenAI o talagang magbabasa ng appendix part tungkol sa mga risk na ito. Natutuwa ako na medyo transparent ang OpenAI tungkol sa mga risk at kung ano ang ginagawa nila para i-mitigate ang mga risk, kabilang ang pag-uusap tungkol sa kanila sa paper na ito. Gayunpaman, nagbibigay pa rin ito sa akin ng goosebumps at maraming pagkain para sa pag-iisip.

Proliferation of Conventional and Unconventional Weapons

Summary: Tinatalakay ng artikulo kung paano ang mga kakayahan ng GPT-4 ay may dual-use na potensyal at maaaring gamitin para sa parehong komersyal at militar na mga aplikasyon, kabilang ang development, acquisition, at dissemination ng nuclear, radiological, biological, at chemical weapons.

Natuklasan ng red team testing na ang GPT-4 ay kayang gumawa ng mahirap hanapin na impormasyon at pinaikli ang oras na ginugugol ng mga user sa research, na ginagawa itong potensyal na kapaki-pakinabang para sa mga indibidwal at non-state actors na walang pormal na scientific training. Ang model ay pwedeng magbigay ng pangkalahatang impormasyon sa mga karaniwang proliferation pathways at magmungkahi ng mga vulnerable public targets, security measures, at mga pangunahing bahagi na kinakailangan para mag-engineer ng isang radiological dispersal device o biochemical substances. Gayunpaman, ang mga generation ng model ay kadalasang masyadong malabo, hindi praktikal, o madaling magkaroon ng factual errors na pwedeng makapinsala o makaantala sa isang threat actor. Binanggit ng artikulo na ang impormasyong available online ay hindi sapat na specific para sa paglikha muli ng isang dual-use substance.

Privacy

Summary: Mahalagang tandaan na may mga potensyal na risk pa rin sa privacy sa kabila ng mga pagsisikap na ito. Halimbawa, kahit na alisin ang personal na impormasyon mula sa training dataset, ang model ay maaari pa ring makakuha ng personal na impormasyon sa pamamagitan ng mga pattern na natutuhan nito. Bukod dito, kahit na ang model ay fine-tuned para tanggihan ang ilang mga request, posible pa ring humanap ng mga paraan para i-bypass ang mga restrictions na ito. Dahil dito, ang patuloy na monitoring at mitigation efforts ay mahalaga upang matiyak na ang paggamit ng GPT-4 ay hindi lumalabag sa mga karapatan sa privacy.

Cybersecurity

Summary: Tinatalakay ng content na ito ang mga kakayahan ng GPT-4 sa cybersecurity operations, partikular sa vulnerability discovery at exploitation, at social engineering. Itina-highlight nito na ang GPT-4 ay may ilang mga limitasyon sa mga lugar na ito, kabilang ang tendency nito na gumawa ng "hallucinations" at ang limitadong context window nito. Habang maaari itong maging kapaki-pakinabang sa ilang subtasks ng social engineering at sa pagpapabilis ng ilang aspeto ng cyber operations, hindi nito pinapabuti ang mga umiiral na tools para sa reconnaissance, vulnerability exploitation, at network navigation, at hindi gaanong epektibo kaysa sa mga umiiral na tools para sa complex at high-level na mga aktibidad tulad ng novel vulnerability identification.

Potential for risky emergent behaviors

Summary: Tinatalakay ng artikulo ang mga potensyal na risk na kaugnay ng paglitaw ng mga bagong kakayahan sa GPT-4, tulad ng long-term planning, power-seeking, at increasingly "agentic" behavior. Ang Alignment Research Center (ARC) ay binigyan ng maagang access para suriin ang mga risk ng power-seeking behavior sa model, partikular ang kakayahan nitong autonomous na mag-replicate at mag-acquire ng mga resources. Natuklasan ng mga preliminary tests na ang GPT-4 ay hindi epektibo sa autonomous replication nang walang task-specific fine-tuning. Magko-conduct ang ARC ng mga karagdagang eksperimento gamit ang final version ng model at ang kanilang sariling fine-tuning upang matukoy ang anumang emergent risky capabilities.

Tinatalakay ng artikulo ang pangangailangan na maunawaan kung paano nakikipag-interact ang GPT-4 sa ibang mga sistema upang masuri ang mga potensyal na risk sa real-world contexts. Sinuri ng mga red teamers ang paggamit ng GPT-4 na pinaganda ng ibang mga tools upang makamit ang mga tasks na maaaring maging adversarial, tulad ng paghahanap ng mga alternatibong pwedeng bilhin na chemicals. Binibigyang-diin ng artikulo ang pangangailangan na suriin at i-test ang mga malakas na AI systems sa konteksto para sa paglitaw ng mga potensyal na mapaminsalang system-system o human-system feedback loops. Itina-highlight din nito ang risk na nilikha ng mga independenteng high-impact na gumagawa ng desisyon na umaasa sa decision assistance mula sa mga models tulad ng GPT-4, na maaaring hindi sinasadyang lumikha ng systemic risks na hindi dating umiiral.

Ang komento ko: Maganda na pinag-utos ng OpenAI sa mga red teams na imbestigahan ang larangang ito. Pero pakiramdam ko, napakahalagang para sa Microsoft o ibang mga kumpanya na huwag mag-release ng pampublikong impormasyon tungkol sa kanilang pagsisikap sa larangang ito sa tuwing naglalabas sila ng mga bagong models.

Economic impacts

Summary: Tinatalakay ng artikulo ang potensyal na epekto ng GPT-4 sa ekonomiya at workforce, kabilang ang potensyal para sa pagkawala ng trabaho at mga pagbabago sa industriyal na organisasyon at mga istruktura ng kapangyarihan. Binanggit nito na habang ang AI at mga generative models ay kayang palakasin ang mga human workers at pagandahin ang job satisfaction, ang kanilang pagpapakilala ay historically nagpataas ng inequality at nagkaroon ng magkakaibang epekto sa iba't ibang mga grupo. Binibigyang-diin ng artikulo ang pangangailangan na bigyang pansin kung paano naka-deploy ang GPT-4 sa lugar ng trabaho sa paglipas ng panahon at i-monitor ang mga epekto nito. Tinatalakay din ng artikulo ang potensyal para sa GPT-4 na pabilisin ang development ng mga bagong applications at ang pangkalahatang bilis ng technological development. Nagtatapos ang artikulo sa pamamagitan ng pag-highlight sa investment ng may-akda sa mga pagsisikap na i-monitor ang mga epekto ng GPT-4, kabilang ang mga eksperimento sa worker performance at mga survey ng mga user at mga firm na gumagawa gamit ang teknolohiya.

Acceleration

Summary: Tinatalakay ng artikulo ang mga alalahanin ng OpenAI tungkol sa potensyal na epekto ng GPT-4 sa mas malawak na AI research at development ecosystem, kabilang ang risk ng acceleration dynamics na humahantong sa pagbagsak ng safety standards at mga societal risks na kaugnay ng AI.

Upang mas maintindihan ang acceleration risk, nag-recruit ang OpenAI ng mga expert forecasters para hulaan kung paano ang iba't ibang features ng GPT-4 deployment ay maaaring makaapekto sa acceleration risk. Binanggit ng artikulo na ang pag-aantala ng deployment ng GPT-4 ng anim na buwan at ang pag-adopt ng mas tahimik na communications strategy ay pwedeng bawasan ang acceleration risk.

Tinatalakay din ng artikulo ang isang evaluation na isinagawa upang sukatin ang epekto ng GPT-4 sa international stability at upang tukuyin ang mga structural factors na nagpapalala ng AI acceleration. Nagtatapos ang artikulo sa pamamagitan ng pagsasabi na ang OpenAI ay patuloy na nagtatrabaho sa pananaliksik at pagbuo ng mas maaasahang acceleration estimates.

Overreliance

Summary: Tinatalakay ng artikulo ang risk ng overreliance sa GPT-4, kung saan ang mga user ay labis na nagtitiwala at umaasa sa model, na potensyal na humahantong sa hindi napapansing mga pagkakamali at hindi sapat na pangangasiwa. Binanggit ng artikulo na ang overreliance ay isang failure mode na malamang tumataas sa kakayahan at abot ng model.

Upang i-mitigate ang overreliance, inirerekomenda ng artikulo na ang mga developer ay magbigay sa mga end-user ng detalyadong dokumentasyon sa mga kakayahan at limitasyon ng sistema, mag-ingat sa kung paano nila tinutukoy ang model/system, at ipaalam ang kahalagahan ng kritikal na pagsusuri ng model outputs.

Tinatalakay din ng artikulo ang mga model-level changes na ginawa ng OpenAI upang tugunan ang mga risk ng parehong overreliance at underreliance, kabilang ang pagpapino ng refusal behavior ng model at pagpapahusay ng steerability. Gayunpaman, binanggit ng artikulo na ang GPT-4 ay nagpapakita pa rin ng tendency na mag-hedge sa mga sagot nito, na maaaring hindi sinasadyang mag-foster ng overreliance.

OpenAI CEO, CTO sa mga risk

Ilang araw na ang nakaraan, nag-publish ang ABC news ng isang interbyu kasama ang OpenAI CEO na si Sam Altman at ang dating CTO na si Mira Murati. (Note: Umalis si Mira Murati sa OpenAI noong Setyembre 2024.) Marami silang pinag-usapan tungkol sa mga risk, at pwede mong panoorin ang video sa ibaba

https://www.youtube.com/watch?app=desktop&v=540vzMlf-54

Konklusyon

Ang integration ng language model ng OpenAI sa Microsoft Office 365 ay may napakalaking potensyal para sa pagpapahusay ng productivity, knowledge transfer, at automation sa iba't ibang mga industriya. Ang GPT 4 ay walang dudang mas malakas kaysa sa mga nakaraang bersyon. Gayunpaman, ang pinaka-humihikayat sa akin ay ang bilis kung saan parehong nagtutulak ang OpenAI at Microsoft — at humahantong ito sa isang pangkalahatang pagbilis ng AI development at adoption. Sa pangkalahatan ay optimistic ako tungkol sa AI development, pero sa tingin ko kailangan nating tiyakin na ang talakayan tungkol sa iba't ibang mga risk ay pumunta sa mainstream. Baka mali ako, pero pakiramdam ko ang bilis ng development ay mas mabilis kaysa sa kakayahan nating isipin ang mga implikasyon.

Ano sa tingin mo — masyadong mabilis ba tayo sa AI, o ito ba ang tamang bilis? Gusto kong marinig ang iyong perspektiba tungkol dito.

Maraming salamat,

Chandler