Kaip naudotis:

$ gem source --add http://gems.ruby.lt/

Pasitikrinti galima su

$ gem env

Ir voila! Tam, kad tikrai išnaudoti šį mirror:ą reiktų pratrinti visus ankstesnius rubygems šaltinius. Taip pat iš patikimų šaltinių girdėjau, kad greitis nepalyginamai geresnis negu pačio rubygems.org.

Kudos kolegai už testavimą ir Robertui už subdomeną.

• ADD – (Asshole Driven Development) metodologija naudojama komandose kuriose pats nekompetetiškiausias programuotojas turi paskutinio sprendimo privilegiją. Iš gyvenimo nuogirdų taip būną dažnai, kai vyr.programuotojais arba team-lead:ais tampa šviežūs IT specialybės bakalaurai.
• BDD – (Bug Driven Development) Tinka cinikams. Vet kuris “feature” yra traktuojamas kaip “bug”.
• CDD – (Comment Driven Development) pristatytas MSDN tinkle. Procesas, kurio metu iš pradžių yra ieškoma sprendimo tam tikrai problemai internete. Suradus kodo gabalą jis yra įterpiamas į kuriamą programą, kurią iš karto yra bandoma paleisti. Kodui nesusikompiliavus jis visas yra užkomentuojamas ir programa vėl paleidžiama. Po sėkmingo paleidimo kodas yra atkomentuojamas eilutė po eilutės. Ši metodologija yra paremta copy-and-waste bei lazy-debugging technikomis.
• CDD – (Configuration Driven Development). Pasitaiko tarp “wannabe” programuotojų. Ypač Java Enterprise aplikacijose, kurio kinfigūraciniai XML failai yra tokie dideli ir sudėtingi, kad paprastas mirtingasis jų redagavimą gali laisvai supainioti su programavimu.
• DDD – (Documentation Driven Development) prieš pradedant programavimą viskas yra dokumentuojama. Naudojama jaunų programuotojų, kurie optimistiškai tiki, kad dokumentacija yra visada galutinė.
• EDD – (Embarassment Driven Development) kai jums riekia pristatinėti produktą, tačiau ne visos esminės funkcijos veikia – tu (ar tavo komanda, ar komanda, kuriai tu priklausai) naudojate šią techinką tam, kad įmonė neatsidurtu durniaus vietoje per demonstraciją iki kurios liko labai mažai.

1. paimk mėgstamą ištiktuką
2. padaryk iš jo būdvardį (jis taps domenu)
3. padaryk iš jo veiksmažodį (jis taps esminiu puslapio feature)
4. suprogramuok socialinį tinklą
5. ???
6. PROFIT

Duodu paprastą pavyzdį:

1. Ištiktukas: oh shit!
2. Būdvardis ohshitty (serveriai.lt duomenimis, tik ohshitty.lt yra užimtas)
3. Veiksmažodis shit-on!
4. Užtektų paimti ką nors iš github.com

5 ir 6 punktų nebeaiškinsiu, nes čia jau turėtum turėti marketingo skyrių. Būtų belenkaip smagu stebėti kiek žmonių norėtų vienas kitą apšikti .) įdomu ar tai skaitytųsi kaip nesantaikos ar neapykantos kurstymas.

Jeigu netiki, pasižiūrėk iki ko daėjo facebook “poukinimas” (poke).

Aha, čia beveik jau ir verslo planas – kavinių tinklas “rėtis” – ten kur afigienas internetas.

Bandžiau parinti Coffee Inn socialiniame tinkle. Dėl fraktalinės kavos (turinys linkas feisbuke), tiek dėl portų atidarymo. Nežinau kodėl jie pagalvojo, kad man atidaryti portai reikalingi torentams siųstis. Parašė, kad laukia atsakymo iš baltnetos, na tai okėj. Laukit. Bet tai nu jūsų vadybibininkai tai tikrai č***pia, jeigu per tiek laiko nesugeba sutvarkyti tokio paprasto reikalo.

Nuoširdžiai Jūsų, nepatenkintas klientas, Eimantas

If your command promt looks like:

 
1. C:\> – You are conservative person. It takes you some time to accept new techology.
2. # – You are respected by colleagues and feared by enemies.
3. joe@cube.some.com:~/joe[12:35 - Fri Jul 6]> You really like techology, like to learn new things, do not afraid to experiment. You going to move out of parents place soon.
4. cube:/usr/src/kernel> – With your 20 years of Unix experience you should have no problem finding new job.
5. (Press ^D when you done with fsck)# –
   Difficult times are ahead of you. Do not lose your courage and patience.

Vat taip vat. O štai ir mano promptas:

%n@%m:%2~ %#

Kadangi kasdien naudojuosi git, teks išnaudoti zsh dešinio prompto fyčerą naudingai brancho/repos informacijai patalpinti.

Peržiūrėjau vieną iš WWDC sesijų apie html5 ir WebKit. Sužavėjo. Visiškai. Nutariau paeksperimentuoti pas pragaro virtuvę (kadangi anksčiau pas ją sukosi cufon kastominio šrifto technika).

Taigi – @font-face. Rimtas reikalas. Ir įdomus. Čia yra parašyta kaip reikia viską padaryti tvarkingai (kaip visada – IE turi gliukų).

Kadangi esu geras ™ vebdeveloperis nusprendžiau palaikyti ir senesnes naršykles (kokias gi daugiau gali turėti namų šeimininkės?). Šiaip html5 apskritai yra agreguotas dalykas ir palaiko belenkokių gudžių (goodies), tad atsirado problema “kaip man sužinoti ar naršyklė palaiko @font-face ar priklauso namų šeimininkei”. Ilgai neteko gūglinti. Dar vienas įrankis į html5 įrankių paletę – modernizr. Taip pat siūlyčiau paskaityti apie tai, kaip ten veikia visas font-face palaikymas naudojant asinchroniškas užklausas. Aha, ir tu turi turėti teisę turėti teisę platinti bei naudoti proprietarinį šriftą.

Anyways…

Užsibaigiau su tokiu kodo gabalu, kuris daro ouldskūlinį perpaišymą namų šeimininkių naršyklėms ir naudoja @font-face stilius bleeding-edge fanatikams:

<script type="text/javascript">
Modernizr._fontfaceready(function(bool){
  if (!bool) 
    getScript('cufonizuotas-šriftas.js',function(){
      Cufon.replace('čia-eina-visi-css-selektoriai');
      Cufon.now(); // šitas reikalingas patenkinti IE or smth
    });
});
</script>

Aišku nepamirškite, kad tai reikia daryti po to, kai visas puslapis užsikrovė. Kadangi esu bleeding-edge fanas – taip ir nesužinosiu ar šitas dalykas veikia namų šeimininkėms su neįgaliomis naršyklėmis.

Referencui:

• pragaro virtuvė – bandomasis triušis
• cufon – fonts for the people
• modernizr – biblioteka html5 triukams.
• bullet proof @font-face – kaip TAI reikia daryti teisingai

Vienas pažįstamas leido suprasti, kad veikia @foobar stiliaus žinutės, kurios sukuria nuorodą į vartotojo profilį.

Dar ramybės neduoda vienas reikalas – Google pradeda kurti socialinį tinklą. Buzz. Google taip pat turi savo app engine. Tai dabar ko gero tėra laiko klausimas, kurie iš mano kontaktų pradės auginti morkas, burtis sėkmę ar vakaro sekso pozą.

Tenka pripažinti – soc tinklai su 3rd party aplikacijomis ir priedais yra praeitų ir, galbūt, šių metų “web2.0″. Ir be abejo jeigu google sukels didelį buzz:ą apie savo buzz:ą, tai, ko gero, internete pasirodys belenkiek “how to create an app to buzz the shit out of your friends”. Ir stackoverflow persipildys debiliškų klausimų apie python.

Truputį liūdną, kai pagalvoji. Bet nenoriu čia taip neigiamai pri:buzz:inti. Pirmyn į šviesų rytojų!

P.S. Mane jau užvilko derivatyvių žodžių daryba…

Pros:

• Tik man gerai žinomi žmonės yra matomi;
• Tik man gerai žinomi žmonės mato mane;
• Galima komentuoti įrašus;
• Galima įrašus mėgti;
• Nėra pakvietimų į “ląžinamės, kad išsiimsiu šonkaulius ir užsiiminėsiu auto-onanizmu” tipo grupes; (F.U. Facebook);
• Manęs nepradės sekioti panos su webcam:ais (F.U. Twitter);
• Nereikės eiti į jokį kitą puslapį – viskas yra kartu su paštu;

Cons:

• Neatneša pusryčių į lovą;

Sugalvojau ir pravardę: Google /b/. Tam tikros personos žinos, ką aš turiu omenyje ,) Dabar beliko laukti tik google/b/ apps:ams ir dev:api. Nors reiktų pažiūrėti, kad galbūt toks jau kaip ir yra. Aš mat iš karto puoliau rašyti apie savo meilę google/b/, kad net užmiršau pažiūrėti dažniausiai atsakomus klausimus.

So, kaip kažkas jau sakė/rašė: bye bye twitter, bye bye facebook!

Dabar nors ir į oposumą mane perkelia. Vis viena bus gerai ,)

Terminai

nltk

– Natural Language ToolKit – biblioteka su krūva tekstų bei naudingų modulių teksto analizei. Siurbits galima iš http://www.nltk.org/

nltk.corpus / corpora

– kategorizuotų tekstų rinkinys įvairiomis temomis (nuo paauglių irc/im pokalbių iki inauguracijos kalbų nuo 18.a pabaigos).

nltk.concordance

– žodžių sąrašas kartu su naudojamu kontekstu.

vocabulary

– žodynas. Bet ne tas, kurį slėpdavau po pagalve prieš miegą (TŽŽ) ir ne tas, kuriuo naudojasi mokyklose ir kitur. O tas, kurį sudaro vieno iš corpora tekstų nepasikartojančių žodžių rinkinys. Note: Švyturys (treidmarkas) == švyturys (pastatas). I.e. skirtingos kapitalizacijos žodžiai yra traktuojami kaip vienas ir tas pats

collocations

– žodžių pora, kuri tekste pasikartoja ypatingai dažnai. T.y. dažniau negu žodžių poros elementai atskirai. Svarbi savybė: atsparumas pakeitimui sinonimais: red wine yra collocation, kadangi šio žodžių junginio pakeitimas fraze maroon wine skambėtų be galo keistai.

bigrams

– žodžių poros, kurios naudojamos tekste rasti collocations.

Paprasčiausia teksto analizė

Tekstas dažniausiai analizuojamas (ne humanitarine prasme) pasitelkiant paprastus statistinius metodus. Pvz dažninį teksto vienetų pasiskirstymą (užmiršau tikslų statistinį terminą, bet angliškai tai skamba kaip “frequency distribution”), sąlyginį dažninį teksto vienetų pasiskirstymą (i.e. conditional frequency distribution), įvairiausių teksto vienetų vidurkius bei sumas.

Praktinis pavyzdys iš knygos – Gutenbergo tekstų analizė. NLTK yra bundlinama kartu su mažu kiekių tekstų iš Gutenbergo projekto (kuriame yra virš 25k nemokamų e-knygų):

>>> import nltk
>>> from nltk.corpus import gutenberg
>>> gutenberg.fildids()
['austen-emma.txt', 'austen-persuasion.txt', 'austen-sense.txt', ...]

Pasitelkus paprasčiausius skaičiavimo vidurkius bei sumas galima be didesnio vargo pasakyti tam tikrų tekstų ar jų autorių rašybos ypatybes. Pavyzdys žemiau:

>>> from __future__ import division # šito reikia, bear with me
>>> for fileid in gutenberg.fileids():
...    num_chars = len(gutenberg.raw(fileid))
...    num_words = len(gutenberg.words(fileid))
...    num_sents = len(gutenberg.sents(fileid))
...    num_vocab = len(set([w.lower() for w in gutenberg.words(fileid)]))
...    print int(num_chars/num_words), int(num_words/num_sents), int(num_words/num_vocab), fileid
... 
4 21 26 austen-emma.txt
4 23 16 austen-persuasion.txt
4 23 22 austen-sense.txt
4 33 79 bible-kjv.txt
4 18 5 blake-poems.txt
4 17 14 bryant-stories.txt
4 17 12 burgess-busterbrown.txt
4 16 12 carroll-alice.txt
4 17 11 chesterton-ball.txt
4 19 11 chesterton-brown.txt
4 16 10 chesterton-thursday.txt
4 17 24 edgeworth-parents.txt
4 24 15 melville-moby_dick.txt
4 52 10 milton-paradise.txt
4 11 8 shakespeare-caesar.txt
4 12 7 shakespeare-hamlet.txt
4 12 6 shakespeare-macbeth.txt
4 35 12 whitman-leaves.txt

Šis kodo gabalas pateikia statistinę informaciją apie gutenbergo tekstus įtrauktus į NLTK biblioteką. Pirmas stulpelis rodo vidutinį žodžio ilgį, antras – sakinio, o trečias leksikologinį įvairumą (lexical diversity – kiek kartų vidutiniškai vienas žodis pasikartoja visame tekste). Esminis dalykas į kurį reikėtų atkreipti dėmesį šiame outpute yra tai, kad vidutinis 4 raidžių žodžio ilgis yra anglų kalbos savybė, tuo tarpu vidutinis sakinio ilgis žodžiais yra tam tikro autoriaus atributas (Austen: 21-23, Chesterton: 16-19, Shakespeare: 11-12). Kaip tokiai paprastai matematikai – pakankamai informatyvu. IMHO.

Viso teksto analizė

Viena iš teksto charakteristikų, kurias galime sužinoti be didelių sunkumų – teksto žodynas (vocabulary). Praktinis pavyzdys – NLTK biblioteka turi inaugiracinių kalbų rinkinį suskirstytą pagal metus. Galime lengvai pasakyti koks yra visų kalbų žodyno ilgis:

>>> import nltk
>>> from nltk.book import *
<...>
>>> vocabulary = sorted(set([w for w in text4]))
>>> len(vocabulary)
9754

Gan neblogai – beveik 10k žodžių per 200 metų. Bet lengvai galima pasakyti, kad tai nėra tikslus žodynas, kadangi žodis “american” ir “American” kode aukščiau yra skaičiuojami kaip du skirtingi žodžiai. Pabandom pakoreguoti algoritmą:

>>> vocabulary = sorted(set([w.lower() for w in text4]))
>>> len(vocabulary)
9070

Žodynas sumažėjo beveik 700 žodžių. Gan neblogai. Bet iš esmės galime jį sutrumpinti dar! Kadangi anglų kalboje yra belenkiek žodžių kurie neturi didelės semantinės reikšmės, mes galime juos pramesti naudodami NLTK stopwords sąrašą. Kadangi sąrašų yra keletas (po vieną [beveik] kiekvienai kalbai), teks pasitelkti tik anglų kalbos žodžius:

>>> from nltk.corpus import stopwords
>>> stopwords = stopwords.words('english')
>>> vocabulary = set([w.lower() for w in text4 if w.lower() not in stopwords])
>>> len(vocabulary)
8944

Kokią išvadą galima padaryti iš tokio teksto analizavimo? Nuo pradinio žodyno kiekio nuėjome pakankamai trumpą kelią ir žiūrint į skaičius galima teigti, kad JAV prezidentai netuščiažodžiavo net per inauguracines kalbas. Esminių žodžių buvo pasakyta per virš 90% visos kalbos. Jeigu pastebėjai, nagrinėdamas inauguracinių kalbų tekstą naudojau text4 kintamąjį. Tai vienas iš kintamųjų, kuriuos gauni importuodamas viską iš nltk.book knygos. Beje, dar nepaminėjau nei bigramų (bigrams), nei kolokacijų (collocations). Vienas iš įdomesnių dalykų, tai sužinoti apie ką per 200 metų prišnekėjo JAV prezidentai:

>>> text4.collocations()
Building collocations list
United States; fellow citizens; four years; years ago; Federal
Government; General Government; American people; Vice President; Old
World; Almighty God; Fellow citizens; Chief Magistrate; Chief Justice;
God bless; every citizen; Indian tribes; public debt; one another;
foreign nations; political parties

Šiam kartui turbūt užteks. Kitą kartą bandysiu bukmarkinti keletą grafikų apie žodžių dažninį pasiskirstymą, kas iš to išeina bei pradėsiu konstruoti repavimo mašiną.