• ADD – (Asshole Driven Development) metodologija naudojama komandose kuriose pats nekompetetiškiausias programuotojas turi paskutinio sprendimo privilegiją. Iš gyvenimo nuogirdų taip būną dažnai, kai vyr.programuotojais arba team-lead:ais tampa šviežūs IT specialybės bakalaurai.
• BDD – (Bug Driven Development) Tinka cinikams. Vet kuris “feature” yra traktuojamas kaip “bug”.
• CDD – (Comment Driven Development) pristatytas MSDN tinkle. Procesas, kurio metu iš pradžių yra ieškoma sprendimo tam tikrai problemai internete. Suradus kodo gabalą jis yra įterpiamas į kuriamą programą, kurią iš karto yra bandoma paleisti. Kodui nesusikompiliavus jis visas yra užkomentuojamas ir programa vėl paleidžiama. Po sėkmingo paleidimo kodas yra atkomentuojamas eilutė po eilutės. Ši metodologija yra paremta copy-and-waste bei lazy-debugging technikomis.
• CDD – (Configuration Driven Development). Pasitaiko tarp “wannabe” programuotojų. Ypač Java Enterprise aplikacijose, kurio kinfigūraciniai XML failai yra tokie dideli ir sudėtingi, kad paprastas mirtingasis jų redagavimą gali laisvai supainioti su programavimu.
• DDD – (Documentation Driven Development) prieš pradedant programavimą viskas yra dokumentuojama. Naudojama jaunų programuotojų, kurie optimistiškai tiki, kad dokumentacija yra visada galutinė.
• EDD – (Embarassment Driven Development) kai jums riekia pristatinėti produktą, tačiau ne visos esminės funkcijos veikia – tu (ar tavo komanda, ar komanda, kuriai tu priklausai) naudojate šią techinką tam, kad įmonė neatsidurtu durniaus vietoje per demonstraciją iki kurios liko labai mažai.

1. paimk mėgstamą ištiktuką
2. padaryk iš jo būdvardį (jis taps domenu)
3. padaryk iš jo veiksmažodį (jis taps esminiu puslapio feature)
4. suprogramuok socialinį tinklą
5. ???
6. PROFIT

Duodu paprastą pavyzdį:

1. Ištiktukas: oh shit!
2. Būdvardis ohshitty (serveriai.lt duomenimis, tik ohshitty.lt yra užimtas)
3. Veiksmažodis shit-on!
4. Užtektų paimti ką nors iš github.com

5 ir 6 punktų nebeaiškinsiu, nes čia jau turėtum turėti marketingo skyrių. Būtų belenkaip smagu stebėti kiek žmonių norėtų vienas kitą apšikti .) įdomu ar tai skaitytųsi kaip nesantaikos ar neapykantos kurstymas.

Jeigu netiki, pasižiūrėk iki ko daėjo facebook “poukinimas” (poke).

If your command promt looks like:

 
1. C:\> – You are conservative person. It takes you some time to accept new techology.
2. # – You are respected by colleagues and feared by enemies.
3. joe@cube.some.com:~/joe[12:35 - Fri Jul 6]> You really like techology, like to learn new things, do not afraid to experiment. You going to move out of parents place soon.
4. cube:/usr/src/kernel> – With your 20 years of Unix experience you should have no problem finding new job.
5. (Press ^D when you done with fsck)# –
   Difficult times are ahead of you. Do not lose your courage and patience.

Vat taip vat. O štai ir mano promptas:

%n@%m:%2~ %#

Kadangi kasdien naudojuosi git, teks išnaudoti zsh dešinio prompto fyčerą naudingai brancho/repos informacijai patalpinti.

Peržiūrėjau vieną iš WWDC sesijų apie html5 ir WebKit. Sužavėjo. Visiškai. Nutariau paeksperimentuoti pas pragaro virtuvę (kadangi anksčiau pas ją sukosi cufon kastominio šrifto technika).

Taigi – @font-face. Rimtas reikalas. Ir įdomus. Čia yra parašyta kaip reikia viską padaryti tvarkingai (kaip visada – IE turi gliukų).

Kadangi esu geras ™ vebdeveloperis nusprendžiau palaikyti ir senesnes naršykles (kokias gi daugiau gali turėti namų šeimininkės?). Šiaip html5 apskritai yra agreguotas dalykas ir palaiko belenkokių gudžių (goodies), tad atsirado problema “kaip man sužinoti ar naršyklė palaiko @font-face ar priklauso namų šeimininkei”. Ilgai neteko gūglinti. Dar vienas įrankis į html5 įrankių paletę – modernizr. Taip pat siūlyčiau paskaityti apie tai, kaip ten veikia visas font-face palaikymas naudojant asinchroniškas užklausas. Aha, ir tu turi turėti teisę turėti teisę platinti bei naudoti proprietarinį šriftą.

Anyways…

Užsibaigiau su tokiu kodo gabalu, kuris daro ouldskūlinį perpaišymą namų šeimininkių naršyklėms ir naudoja @font-face stilius bleeding-edge fanatikams:

<script type="text/javascript">
Modernizr._fontfaceready(function(bool){
  if (!bool) 
    getScript('cufonizuotas-šriftas.js',function(){
      Cufon.replace('čia-eina-visi-css-selektoriai');
      Cufon.now(); // šitas reikalingas patenkinti IE or smth
    });
});
</script>

Aišku nepamirškite, kad tai reikia daryti po to, kai visas puslapis užsikrovė. Kadangi esu bleeding-edge fanas – taip ir nesužinosiu ar šitas dalykas veikia namų šeimininkėms su neįgaliomis naršyklėmis.

Referencui:

• pragaro virtuvė – bandomasis triušis
• cufon – fonts for the people
• modernizr – biblioteka html5 triukams.
• bullet proof @font-face – kaip TAI reikia daryti teisingai

Vienas pažįstamas leido suprasti, kad veikia @foobar stiliaus žinutės, kurios sukuria nuorodą į vartotojo profilį.

Dar ramybės neduoda vienas reikalas – Google pradeda kurti socialinį tinklą. Buzz. Google taip pat turi savo app engine. Tai dabar ko gero tėra laiko klausimas, kurie iš mano kontaktų pradės auginti morkas, burtis sėkmę ar vakaro sekso pozą.

Tenka pripažinti – soc tinklai su 3rd party aplikacijomis ir priedais yra praeitų ir, galbūt, šių metų “web2.0″. Ir be abejo jeigu google sukels didelį buzz:ą apie savo buzz:ą, tai, ko gero, internete pasirodys belenkiek “how to create an app to buzz the shit out of your friends”. Ir stackoverflow persipildys debiliškų klausimų apie python.

Truputį liūdną, kai pagalvoji. Bet nenoriu čia taip neigiamai pri:buzz:inti. Pirmyn į šviesų rytojų!

P.S. Mane jau užvilko derivatyvių žodžių daryba…

Pros:

• Tik man gerai žinomi žmonės yra matomi;
• Tik man gerai žinomi žmonės mato mane;
• Galima komentuoti įrašus;
• Galima įrašus mėgti;
• Nėra pakvietimų į “ląžinamės, kad išsiimsiu šonkaulius ir užsiiminėsiu auto-onanizmu” tipo grupes; (F.U. Facebook);
• Manęs nepradės sekioti panos su webcam:ais (F.U. Twitter);
• Nereikės eiti į jokį kitą puslapį – viskas yra kartu su paštu;

Cons:

• Neatneša pusryčių į lovą;

Sugalvojau ir pravardę: Google /b/. Tam tikros personos žinos, ką aš turiu omenyje ,) Dabar beliko laukti tik google/b/ apps:ams ir dev:api. Nors reiktų pažiūrėti, kad galbūt toks jau kaip ir yra. Aš mat iš karto puoliau rašyti apie savo meilę google/b/, kad net užmiršau pažiūrėti dažniausiai atsakomus klausimus.

So, kaip kažkas jau sakė/rašė: bye bye twitter, bye bye facebook!

Terminai

nltk

– Natural Language ToolKit – biblioteka su krūva tekstų bei naudingų modulių teksto analizei. Siurbits galima iš http://www.nltk.org/

nltk.corpus / corpora

– kategorizuotų tekstų rinkinys įvairiomis temomis (nuo paauglių irc/im pokalbių iki inauguracijos kalbų nuo 18.a pabaigos).

nltk.concordance

– žodžių sąrašas kartu su naudojamu kontekstu.

vocabulary

– žodynas. Bet ne tas, kurį slėpdavau po pagalve prieš miegą (TŽŽ) ir ne tas, kuriuo naudojasi mokyklose ir kitur. O tas, kurį sudaro vieno iš corpora tekstų nepasikartojančių žodžių rinkinys. Note: Švyturys (treidmarkas) == švyturys (pastatas). I.e. skirtingos kapitalizacijos žodžiai yra traktuojami kaip vienas ir tas pats

collocations

– žodžių pora, kuri tekste pasikartoja ypatingai dažnai. T.y. dažniau negu žodžių poros elementai atskirai. Svarbi savybė: atsparumas pakeitimui sinonimais: red wine yra collocation, kadangi šio žodžių junginio pakeitimas fraze maroon wine skambėtų be galo keistai.

bigrams

– žodžių poros, kurios naudojamos tekste rasti collocations.

Paprasčiausia teksto analizė

Tekstas dažniausiai analizuojamas (ne humanitarine prasme) pasitelkiant paprastus statistinius metodus. Pvz dažninį teksto vienetų pasiskirstymą (užmiršau tikslų statistinį terminą, bet angliškai tai skamba kaip “frequency distribution”), sąlyginį dažninį teksto vienetų pasiskirstymą (i.e. conditional frequency distribution), įvairiausių teksto vienetų vidurkius bei sumas.

Praktinis pavyzdys iš knygos – Gutenbergo tekstų analizė. NLTK yra bundlinama kartu su mažu kiekių tekstų iš Gutenbergo projekto (kuriame yra virš 25k nemokamų e-knygų):

>>> import nltk
>>> from nltk.corpus import gutenberg
>>> gutenberg.fildids()
['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', ...]

Pasitelkus paprasčiausius skaičiavimo vidurkius bei sumas galima be didesnio vargo pasakyti tam tikrų tekstų ar jų autorių rašybos ypatybes. Pavyzdys žemiau:

>>> from __future__ import division # šito reikia, bear with me
>>> for fileid in gutenberg.fileids():
...    num_chars = len(gutenberg.raw(fileid))
...    num_words = len(gutenberg.words(fileid))
...    num_sents = len(gutenberg.sents(fileid))
...    num_vocab = len(set([w.lower() for w in gutenberg.words(fileid)]))
...    print int(num_chars/num_words), int(num_words/num_sents), int(num_words/num_vocab), fileid
... 
4 21 26 austen-emma.txt
4 23 16 austen-persuasion.txt
4 23 22 austen-sense.txt
4 33 79 bible-kjv.txt
4 18 5 blake-poems.txt
4 17 14 bryant-stories.txt
4 17 12 burgess-busterbrown.txt
4 16 12 carroll-alice.txt
4 17 11 chesterton-ball.txt
4 19 11 chesterton-brown.txt
4 16 10 chesterton-thursday.txt
4 17 24 edgeworth-parents.txt
4 24 15 melville-moby_dick.txt
4 52 10 milton-paradise.txt
4 11 8 shakespeare-caesar.txt
4 12 7 shakespeare-hamlet.txt
4 12 6 shakespeare-macbeth.txt
4 35 12 whitman-leaves.txt

Šis kodo gabalas pateikia statistinę informaciją apie gutenbergo tekstus įtrauktus į NLTK biblioteką. Pirmas stulpelis rodo vidutinį žodžio ilgį, antras – sakinio, o trečias leksikologinį įvairumą (lexical diversity – kiek kartų vidutiniškai vienas žodis pasikartoja visame tekste). Esminis dalykas į kurį reikėtų atkreipti dėmesį šiame outpute yra tai, kad vidutinis 4 raidžių žodžio ilgis yra anglų kalbos savybė, tuo tarpu vidutinis sakinio ilgis žodžiais yra tam tikro autoriaus atributas (Austen: 21-23, Chesterton: 16-19, Shakespeare: 11-12). Kaip tokiai paprastai matematikai – pakankamai informatyvu. IMHO.

Viso teksto analizė

Viena iš teksto charakteristikų, kurias galime sužinoti be didelių sunkumų – teksto žodynas (vocabulary). Praktinis pavyzdys – NLTK biblioteka turi inaugiracinių kalbų rinkinį suskirstytą pagal metus. Galime lengvai pasakyti koks yra visų kalbų žodyno ilgis:

>>> import nltk
>>> from nltk.book import *
<...>
>>> vocabulary = sorted(set([w for w in text4]))
>>> len(vocabulary)
9754

Gan neblogai – beveik 10k žodžių per 200 metų. Bet lengvai galima pasakyti, kad tai nėra tikslus žodynas, kadangi žodis “american” ir “American” kode aukščiau yra skaičiuojami kaip du skirtingi žodžiai. Pabandom pakoreguoti algoritmą:

>>> vocabulary = sorted(set([w.lower() for w in text4]))
>>> len(vocabulary)
9070

Žodynas sumažėjo beveik 700 žodžių. Gan neblogai. Bet iš esmės galime jį sutrumpinti dar! Kadangi anglų kalboje yra belenkiek žodžių kurie neturi didelės semantinės reikšmės, mes galime juos pramesti naudodami NLTK stopwords sąrašą. Kadangi sąrašų yra keletas (po vieną [beveik] kiekvienai kalbai), teks pasitelkti tik anglų kalbos žodžius:

>>> from nltk.corpus import stopwords
>>> stopwords = stopwords.words('english')
>>> vocabulary = set([w.lower() for w in text4 if w.lower() not in stopwords])
>>> len(vocabulary)
8944

Kokią išvadą galima padaryti iš tokio teksto analizavimo? Nuo pradinio žodyno kiekio nuėjome pakankamai trumpą kelią ir žiūrint į skaičius galima teigti, kad JAV prezidentai netuščiažodžiavo net per inauguracines kalbas. Esminių žodžių buvo pasakyta per virš 90% visos kalbos. Jeigu pastebėjai, nagrinėdamas inauguracinių kalbų tekstą naudojau text4 kintamąjį. Tai vienas iš kintamųjų, kuriuos gauni importuodamas viską iš nltk.book knygos. Beje, dar nepaminėjau nei bigramų (bigrams), nei kolokacijų (collocations). Vienas iš įdomesnių dalykų, tai sužinoti apie ką per 200 metų prišnekėjo JAV prezidentai:

>>> text4.collocations()
Building collocations list
United States; fellow citizens; four years; years ago; Federal
Government; General Government; American people; Vice President; Old
World; Almighty God; Fellow citizens; Chief Magistrate; Chief Justice;
God bless; every citizen; Indian tribes; public debt; one another;
foreign nations; political parties

Šiam kartui turbūt užteks. Kitą kartą bandysiu bukmarkinti keletą grafikų apie žodžių dažninį pasiskirstymą, kas iš to išeina bei pradėsiu konstruoti repavimo mašiną.

Variation in wealth can be a sign of variation in productivity. (In a society of one, they’re identical.) And that is almost certainly a good thing: if your society has no variation in productivity, it’s probably not because everyone is Thomas Edison. It’s probably because you have no Thomas Edisons.

Arba:

I’ve read that Java has just overtaken Cobol as the most popular language. As a standard, you couldn’t wish for more. But as a medium of expression, you could do a lot better. Of all the great programmers I can think of, I know of only one who would voluntarily program in Java. And of all the great programmers I can think of who don’t work for Sun, on Java, I know of zero.

Ir ten yra žymiai daugiau tokių perliukų. Praktiškai visas skaitalas toks. Taip pat dugne yra nuoroda į audio versija.

Per paskutinius metus nuo 80:to porto nukėliau vieną iš savo dažniausiai naudojamų paslaugų – rss. Nesigailiu. Taip pat pamažu pradedu migruoti iš wp-admin į MarsEdit. Taip pat atrodo, kad tikrai nesigailėsiu. Nevisi žmonės suvokia, kad toks yra google verslo modelis. Ir aš tau pasakysiu jų galutinį tikslą – paslauga, kuri, įkišus tinklo kabelį į gerą vietą, išmatuos tavo kūno temperatūrą, o moterims net gi parodys kelintas mėnuo jos yra nėščios. Awesome, ne? Ir tu vėl galvosi, kad google saves the day!

Nors nežinau.lt ir rašė, kad prognozės yra pavojingas dalykas – aš vis viena drąsiai prognozuosiu – nenaudosiu google chrome os! Einu daryti 125×125.

Aš taip primečiau, kad norint apsisaugoti nuo spamo ir belenkokio pikto internetinio briedo, kuris siunčiamas per formas, užtektų patikrinti ar “lankytojas” naršo per pilnavertę naršyklę ir net nereikėtų tikrinti ar vartotojas yra iš tiesų žmogus. Kaip jau minėjau – captcha yra lengvai apeinamas, o spręsti matematines lygtis ir atsakinėti į klausimus – užknisa. Ir aš tikrai nekalbu apie User-Agent http antraštę. Ją juokingai lengva sufabrikuoti.

Spam-botai yra kvailos būtybės. Pakankamai kvailos, kad jas būtų galima apgauti gabaliuku gudraus JavaScript kodo. Aišku, čia prabyla mano kompetencijos trūkumas: nežinau ant kiek spam-botai yra kvaili ir nesupranta JS kodo. Manau, kad visi spam:botai yra parašyti Windows operacinei sistemai (nes Linux ir Mac OS X vartotojų segmentas yra per siauras), tad jeigu programos ir naudoja naršyklę, tai tai yra IE. Dabar keletas scenarijų apsaugoms (warning: programmer slang ahead), kurie yra įgyvendinami naudojant paprastus JS event-handlerius (tingėjau ieškoti lietuviško atitikmens):

1. Raktas – onsubmit (arba onload) event-handleriui pakišama funkcija, kuri sugeneruoja paslėptą formos elementą (tarkim not_spam_bot=yes). Serverio pusėje užtenka patikrinti ar forma atėjo kartu su šiuo elementu. Jeigu ne – nepilnavertė naršyklė arba spam-botas!
2. Siuntimo adresas – event-handleriams priskiriama funkcija, kuri pakeičia formos siuntimo adresą į teisingą (tuo tarpu pirmąjį galima būtų sukurti tokį, kuris 4fun ™ registruotų spamintus formų siuntimus)
3. Elementų vardai – vėl gi – tiems patiems event-handleriams pakišama funkcija, kuri sutvarko formos elementų vardus.

Aišku, įmanomos įvairios šių (ir ne tik) scenarijų kombinacijos. Ir kad dar šiek tiek apsunkinti visą reikalą spam-botams (kurie, galbūt, tiesiog durnai interpretuoja JS kodą) visą JS ant formų reiktų užkabinti nemaišant struktūros ir logikos.

Neišradau rato, bet gal atsiras penas tavo mintims, kuriomis pasidalinsi komentaruose.